はじめに

Rに関する役立つ情報を随時追記していく

ライブラリメモ

plyr

データ操作を簡略化する関数が多数用意されている便利パッケージ
slideshare（plyrパッケージで君も前処理スタ）

reshape2

データ変形ツール
「ggplot2 をインストールすれば自動的に入るはず。」らしい
Rでピボットテーブル
Rデータフレーム自由自在
Watal M. Iwasaki » R programming » reshape2 — 柔軟なデータ変形ツール

ggplot2

デフォルトの作図コマンドよりも効率的に作図ができ、しかも分かりやすくて美しい図を描くことができるライブラリ
Rのグラフィック作成パッケージ“ggplot2”について

scales

グラフ描画時に軸の数値をカンマ区切りで表記してくれるライブラリ

便利ライブラリをまとめてインストール

install.packages("plyr")
install.packages("reshape2")
install.packages("ggplot2")
install.packages("scales")
install.packages("foreach")
install.packages("rpart")
install.packages("partykit")
install.packages("randomForest")
install.packages("caret")

library(plyr)
library(reshape2)
library(ggplot2)
library(scales)
library(foreach)
library(rpart)
library(partykit)
library(randomForest)
library(caret)

基本操作

ファイルやディレクトリの操作


## 作業スペースの表示
getwd()

## 作業スペースの移動
setwd("C:\\temp\\Rsample")

## パッケージのインストールと適用
install.packages("hoge")
library(hoge)

## csv読み込み
hoge <- read.csv("foo\\bar\\hoge.txt", header=T, stringsAsFactors = F)

## データフレームをテキスト出力
write.table(
    data,        # データフレーム
    "data.csv",  # ファイル名
    row.names=F, # 行番号の出力は不要
    sep=",",     # 区切り文字
    quote=T      # 囲み文字あり
)

データ表示


## 先頭5件表示
head(hoge)

## 先頭10件表示
head(hoge, 10)

データの結合


## SQLでいうJoin
hoge.fuga <- merge(hoge, fuga,
    by = c(
        "user_id",
        "app_name"
    )
)

## SQLでいうLeft Outer Join
hoge.huga.foo <- merge(
    hoge.huga,    # 結合対象データ（X）
    dpu,          # 結合対象データ（Y）
    by = c("log_date", "app_name", "user_id"),  # 結合対象データのカラム
    all.x = T                                   # Left Join 指定
)

## 結合した側のデータの列名は.gをつける
hoge <- merge(
    imp, goal,              # tmpとgoalを結合
    by="transaction_id",    # transaction_idで結合
    all.x=T,                # 外部結合
    suffixes=c("",".g")     # 結合下側の列名にgをつける
)

データ加工


## N/Aデータを０に変換
hoge.huga$foo[is.na(hoge.huga.foo$payment)] <- 0    # foo列のデータがN/Aの場合に０を代入

## 文字を数値に変換
hoge.fuga$foo <- as.integer(hoge.fuga$foo)  # 整数へ変換
hoge.fuga$foo <- as.numeric(hoge.fuga$foo)  # 実数へ変換

## 数値を文字に変換
hoge.fuga$num <- as.character(hoge.fuga$num) # 文字

## 文字結合
hoge.fuga$col3 <- paste(hoge.fuga$col1, hoge.fuga$col2, "_") # 結合対象と区切り文字を指定

## SubString（yyyy-mm-dd形式のlog_date列を元にyyyy-mm形式のlog_month列を作成）
hoge.huga$log_month <-substr(hoge.huga$log_date, 1, 7)  # 1文字目から７文字目を別カラムとして定義

## 場合分けでの値の設定
### hoge.fugaのuser.type列に場合分けで値を代入(コメント部のSQLの場合の書き方を併記)
hoge.fuga$user.type <- ifelse(                        # case when
    hoge.fuga$install_month == hoge.fuga$log_month,   #   hoge.fuga.install_month = hoge.huga.log_month
    "install", "existing"                             #     then "install", else "existing"
)                                                     # end


# 型変換（文字->日付）
hoge$log_date <- as.Date(
    hoge$log_date
)

# 重複統一（foo をA,B,C列でユニークにする。SQLでいうGroup by）
bar <- unique (
    foo[, c("A", "B", "C")]
)

# 縦横変換

# > bar
#       min        1Q       mid        3Q       max
# -1406.870  -984.490   -12.110   432.820  1985.849
# ↓
## 横データを縦データに変換
bar <- melt(foo)
# ↓
#         value
# min -1406.870
# 1Q   -984.490
# mid   -12.110
# 3Q    432.820
# max  1985.849

## 縦データを横データに変換
### その前に縦横変換用にデータを加工
bar$rowid <- paste0(1:length(rownames(bar)))
bar$rowid <- as.integer(bar$rowid)
bar$name <- rownames(bar)
bar$dmy <- 1
# ↓
# > bar
#         value rowid name dmy
# min -1406.870     1  min   1
# 1Q   -984.490     2   1Q   1
# mid   -12.110     3  mid   1
# 3Q    432.820     4   3Q   1
# max  1985.849     5  max   1

### 変換
hoge <- dcast(
    bar,                    # 対象データ
    dmy ~ rowid + name,     # 行データ ~ 列データ(列データは＋演算子でつないて複数使用可能)
    sum                     # 集計方法の指定（value列をどのように集計して縦横変換するか）
)
# ↓
# > hoge
#   dmy    1_min    2_1Q  3_mid   4_3Q    5_max
# 1   1 -1406.87 -984.49 -12.11 432.82 1985.849
hoge <- test3[,c(-1)]
# ↓
#      1_min    2_1Q  3_mid   4_3Q    5_max
# 1 -1406.87 -984.49 -12.11 432.82 1985.849




# 行名を列に適用

test2$name <- row.names(test2)
test2$name <- rownames(test2)  ## どっちでも同じ

# 行番号を列に適用
test2$rowid <- paste0(1:length(rownames(test2)))

# 連続データを階級値（区分）で分割
## 1～400の連続データを10刻みのデータに分割（階級分け）
## 他に適切なやり方ありそうだけど…
pvec  <- seq(0,400,10) # データを区切るうえでのルール（0から400までを10刻み）
pvec2 <- seq(1,400,10) # 区切ったデータの階級値（1から400まで10刻み）
data$rank_div <- cut(
    data$rank,             # 元になる連続データ
    breaks = c(pvec),      # 区切り方
    labels = c(pvec2),     # 区切った際の階級値
    right  = FALSE,        # ｍ≦データ値＜ｎ 
    ordered_result = TRUE  # ソートするか（デフォルトはFALSE）
)

グループ化



## ddplyパッケージを使用
hogeMonth.payment <- ddply(
    hoge,                                   # From 句
    .(log_month, user_id, install_month),   # Select 句, Group by 句
    summarize,                              # 集計
    payment = sum(payment)                  # Select 句 sum(payment) as payment
)

imp.summary <- ddply(                   # SQL で言うと...
            imp,                        # from tmp
    .(log_date, test_case),             # select log_date, test_case group by log_date, test_case
    summarize,                          # 集計
    cvr=sum(is.goal)/length(user_id)    # select sum(is.goal/length(user_id)) as cvr
)

## 元データに集計結果を追加
imp.summary <- ddply(
    ab.test.imp.summary,                # from
    .(test_case),                       # group by
    transform,                          # 集計ではなく元データに追加
    cvr.avg=sum(cv)/sum(imp)            # select sum(cv)/sum(imp) as cvr.avg
)

グラフによりデータを可視化する


## 1画面に複数グラフをまとめてプロットしたい場合
par(mfrow=c(3,3))  # 3 × 3 で9枚

## ggplotで1画面に複数グラフをまとめてプロットしたい場合
### 必要なライブラリ
library(grid)
### 出力設定（ここでは3 × 3 で9枚）
pushViewport(viewport(layout=grid.layout(3,3)))
### 出力（1,1 の箇所にggplotデータ（g.data）を出力）
print(g.data, vp=viewport(layout.pos.row=1,layout.pos.col=1))


## 基本的なグラフ

### グラフクリア
plot.new()

### グラフを重ねて描画する際のオプション
par(new=T)

### 一行折れ線グラフ
#### test
####       min        1Q       mid        3Q       max
#### -1406.870  -984.490   -12.110   432.820  1985.849
plot(test, type="p")    # 点
plot(test, type="l")    # 線
plot(test, type="b")    # 点線
plot(test, type="o")    # 点線（点と線が重なる）

### 散布図
x <- 1:10
y <- 1:10
plot(x, y)

### その他基本オプション
plot(
    test,                     # データ
    ylim = c(-2000, 2000),    # Y軸の上限と下限
    ylab = "hoge"             # Y軸の名前
)




## ヒストグラム
ggplot(
    hoge.fuga.summary,          # 使用データ
    aes(
        x = log_month,          # X軸
        y = total.payment,      # Y軸
        fill = user.type        # 出力対象データ
    )
) + geom_bar(
    stat="identity"             # こう記述することで、X軸、Y軸の具体的な値をプロットできるようになる。
) + scale_y_continuous(
    label = comma               # Y軸をカンマ区切りで表記
)

## X軸の並び順指定
ggplot(
    hoge.fuga.summary,
    aes(
        x=reorder(log_month, rowid),
        y=total.payment,
        fill=user.type
    )
) + geom_bar(
    stat="identity"
)

## 条件に合致するデータのみをグラフに描画
ggplot(
    hoge.fuga[
        hoge.fuga$payment > 0 &               # payment列データが0より大きい かつ
        hoge.fuga$user.type == "install",     # user.type列が"install"
    ],                                        # の場合、
    aes(
        x = payment,                          # X軸にPayment
        fill = log_month                      # 出力対象データはLog_monthのカウント
    )
) + geom_histogram(
    position = "dodge",    # 横並び
#    position = "fill",     # 割合
#    position = "stack",    # 積み上げ
#    position = "identity", # 重ねて描画
#    alpha = 0.5,           # 透過指定
    binwidth = 2000         # 棒の太さ
)

## 折れ線グラフ
limits <- c(0, max(hoge$dau))       # 下準備
ggplot(
    hoge,                           # 対象データ
    aes(
        x     = log_date,           # X軸
        y     = dau,                # Y軸
        col   = device_type,        # 色の指定
        lty   = device_type,        # 線の指定
        shape = device_type         # マークの指定
    )
) + geom_line(
    lwd = 10                        # 線の太さ
) + geom_point(
    size = 4                        # マークの大きさ
) + scale_y_continuous(
    label=comma,                    # Y軸は1000と1,000と表記
    limits=limits                   # Y軸の上限、下限を指定
)

## 補助線ありグラフ
limits <- c(
    0,
    max(ab.test.imp.summary$cvr)
)
ggplot(
    ab.test.imp.summary,
    aes(
        x=log_date,
        y=cvr,
        col=test_case,
        lty=test_case,
        shape=test_case
    )
) + geom_line(
    lwd=1
) + geom_point(
    size=4
) + geom_line(          # 補助線を指定
    aes(
        y=cvr.avg,      # Y軸に平均値を表示
        col=test_case   # test_case毎に色を指定
    )
) + scale_y_continuous(
    label=percent,
    limits=limits
)

# 散布図と回帰直線
ggplot (
    data.access_and_score,
    aes (
        x=score,      # X軸
        y=access_cnt  # Y軸
    )
) + geom_point (        # 散布図の描画設定
    aes(colour=period), # periodで点を色分け
    shape = 20,
    size = 0.8,
    na.rm = TRUE
) + geom_smooth (     # 近似線を追加
    aes(
        colour=period, # periodで色分け
        group=period   # periodでグルーピングして複数の線を描画
    ),
    method = "lm"     # 回帰法を利用
)
# + geom_smooth()     # とすると平均値線を追加
 + theme(legend.position="none", axis.title.y=element_text(size="20")
)+ labs(title="65-1",y="P2")

# グラフの見た目設定
ggplot (
    data,
    aes ( x=P1, y=P2)
) + geom_point (
    col   = rgb(0.8,0.1,0.1),
    shape = 20,
    size  = 2,
    na.rm = TRUE
)+ theme(
    legend.position = "none",   # 凡例非表示
    axis.title.y = element_text(size="20") # Y軸タイトルの設定
    axis.text.y = element_text(size="20")  # Y軸の設定
)+ labs(
    title="65-1",   # グラフタイトル
    y="P2"          # Y軸タイトル
)

クロス集計


# シンプルケース
table(
    hoge.info[, c("log_month", "gender")]                       # X軸：log_month, Y軸：genderでデータ件数をクロス集計、プロット
)
tableData <- table(hoge.info[, c("log_month", "gender")])       # テーブルデータを変数に格納
tableDataSum <- addmargins(tableData)                           # 合計列、合計行を追加
tableDataSum                                                    # 合計行を含むデータをプロット

## モザイク形式でデータを表にプロット
mosaicplot(
    tableData,      # テーブルデータ
    color=T,        # 色を付けるか
    shad=T          # 残差を可視化するか
)

## セグメント分析（性別×年代で集計）
dcast(                                      # reshape2パッケージの関数（縦横変換）
    hoge.info,                              # 集計対象データ
    log_month ~ gender + generation,        # log_monthを軸にgenderとgenerationの組み合わせクロス集計
    value.var = "user_id",                  # user_idを計数として使用
    length                                  # 件数を集計
)

ベクトル

ベクトル = ２個以上のデータの集まりで，スカラーを縦列に並べたもの


sales<-c(15,20,25,10,30)
sales                       # [1] 15 20 25 10 30
length(sales)               # 5
fruits<-c("cherry", "apple", "grape", "banana", "other")
## ベクトルに名前をつける
names(sales)<-fruits
sales
### cherry  apple  grape banana  other
###     15     20     25     10     30

χ2乗検定


## test_caseとis.goalの関係性をχ2乗検定で確認する
chisq.test(
    imp$test_case,
    tmp$is.goal
)

回帰分析


fit <- lm(
    install ~ .,    # モデルの指定（install = tvcm, magazine というモデルで重回帰分析を実施）
                    # install ~ tvcm + magazin と記述しても同じ意味になる
                    # . を使うことで、install 以外全て、の意味になる
    data = ad.data[, c("install", "tvcm", "magazine")]
)
## 各種係数を表示
fit
# Coefficients:
# (Intercept)         tvcm     magazine
#     188.174        1.361        7.250
# --> install = 1.361 * tvcm + 7.250 * magazine + 188.174

## 回帰分析の結果を表示
summary(fit)
# 残差
# Residuals:
#      Min       1Q   Median       3Q      Max  # 最小値 | 第一四分位数 | 中央値 | 第二四分位数 | 最大値 |
# -1406.87  -984.49   -12.11   432.82  1985.84

# 重回帰モデルの係数
# Coefficients:
#              Estimate Std. Error t value Pr(>|t|)                 # 推定値 | 標準偏差 | t値 | p値 |
# (Intercept)  188.1743  7719.1308   0.024  0.98123                 # 切片（定数項）
# tvcm           1.3609     0.5174   2.630  0.03390 *               # tvcm
# magazine       7.2498     1.6926   4.283  0.00364 **              # magazine
# ---
# Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

# 自由度
# Residual standard error: 1387 on 7 degrees of freedom
# Multiple R-squared:  0.9379,    Adjusted R-squared:  0.9202
# F-statistic: 52.86 on 2 and 7 DF,  p-value: 5.967e-05

ロジスティック回帰分析


### glm()  --> ロジスティック回帰を実施
### step() --> モデルに使う説明変数を自動で探索・選定
fit.logit <- step(
    glm(
        is_sp ~ .,                  # モデルの形式(is_spを説明するために、それ以外の項目全てを使用)
        data = fp.dau1.cast[, -1],  # データ((-1)でuser_idを除外)
        family = binomial           # 分布族(binomial        :二項
                                    #        gaussian        :正規
                                    #        poisson         :ポアソン
                                    #        Gamma           :ガンマ
                                    #        Inverse.gaussian:逆正規)
    )
)
summary(fit.logit)


# Call:
# glm(formula = is_sp ~ d1 + d4 + d5 + d7 + d10 + d13 + d22 + d29 +
#     d31, family = binomial, data = fp.dau1.cast[, -1])

## 残差の分布
# Deviance Residuals:
#      Min        1Q    Median        3Q       Max
# -1.95538  -0.45175  -0.23178  -0.06122   2.69461

## 係数の推定値のサマリ
# Coefficients:
#             Estimate Std. Error z value Pr(>|z|)
# (Intercept)  -3.6036     0.4269  -8.441  < 2e-16 ***
# d11           1.5334     0.5720   2.681  0.00735 **
# d41           1.7753     0.6424   2.764  0.00572 **
# d51          -1.0353     0.7622  -1.358  0.17437
# d71           1.7002     0.7109   2.392  0.01678 *
# d101         -2.6753     0.9418  -2.841  0.00450 **
# d131          1.3726     0.7547   1.819  0.06893 .
# d221          1.6233     0.6382   2.543  0.01098 *
# d291          2.0012     0.6480   3.088  0.00201 **
# d311          1.7310     0.8143   2.126  0.03352 *
# ---
# Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

# (Dispersion parameter for binomial family taken to be 1)

#     Null deviance: 281.20  on 251  degrees of freedom
# Residual deviance: 126.73  on 242  degrees of freedom

## 赤池情報量規準
# AIC: 146.73

# Number of Fisher Scoring iterations: 6

# 作成されたモデルを利用した予測
fp.dau1.cast$prob <- round(
    fitted(fit.logit),
    2
)
# 予測
fp.dau1.cast$pred <- ifelse(fp.dau1.cast$prob > 0.5, 1, 0)

# 予測と実測
table(fp.dau1.cast[, c("is_sp", "pred")])

基本統計量算出関数

基本統計量	関数
合計	sum
算術平均	mean
最大値	max
最小値	min
範囲	range
中央値	median
分散	var
標準偏差	sd
分位数	quantile
統計要約	summary

はじめに

ライブラリ メモ

plyr

reshape2

ggplot2

scales

便利ライブラリをまとめてインストール

基本操作

ファイルやディレクトリの操作

データ表示

データの結合

データ加工

グループ化

グラフによりデータを可視化する

クロス集計

ベクトル

ベクトル = ２個以上のデータの集まりで，スカラーを縦列に並べたもの

χ2乗検定

回帰分析

ロジスティック回帰分析

基本統計量 算出関数

参考サイト

ライブラリメモ

基本統計量算出関数