dplyrのsummarise, doの使い分けについてのメモ

r-wakalangのチャットでdo()についての話が盛り上がったので、調べたことをまとめます（@hoxo_mさんと@teranomagiさんがほとんど調べつくした内容ですけど）。

参考：http://d.hatena.ne.jp/teramonagi/20151031/1446283091

grouped_df

dplyrには、group_by()という関数がある。

これは、データとグループ分けに使う変数を指定してgrouped_dfというオブジェクトをつくる。

d <- data_frame(val = 1:6, cat = rep(letters[1:3], each = 2))
g <- group_by(d, cat)

is(g)
# > [1] "grouped_df"

g
# > Source: local data frame [6 x 2]
# > Groups: cat [3]
# > 
# >     val   cat
# >   (int) (chr)
# > 1     1     a
# > 2     2     a
# > 3     3     b
# > 4     4     b
# > 5     5     c
# > 6     6     c

Groupsという要素ができている。mutate()、summarise()（summarize()）やdo()などは、このGroupsに設定されている変数にしたがって分割したデータに処理を実行する。違いを見てみる。

mutate()

列名を指定したmean()は分割されたグループごとの平均になっている。他方、.を指定したnrow()はデータ全体の行数になっている。

g %>%
  mutate(m = mean(val), n = nrow(.))
# > Source: local data frame [6 x 4]
# > Groups: cat [3]
# > 
# >     val   cat     m     n
# >   (int) (chr) (dbl) (int)
# > 1     1     a   1.5     6
# > 2     2     a   1.5     6
# > 3     3     b   3.5     6
# > 4     4     b   3.5     6
# > 5     5     c   5.5     6
# > 6     6     c   5.5     6

.は、mutate()やsummarise()の中ではGroupsの有無にかかわらずデータ全体を表す。例えば、以下のようにすると違いがわかりやすい。列名valを指定したmは分割されたグループごとの平均だが、.$valを指定したm2はデータ全体の平均になっている。

g %>%
  mutate(m = mean(val), m2 = mean(.$val))
# > Source: local data frame [6 x 4]
# > Groups: cat [3]
# > 
# >     val   cat     m    m2
# >   (int) (chr) (dbl) (dbl)
# > 1     1     a   1.5   3.5
# > 2     2     a   1.5   3.5
# > 3     3     b   3.5   3.5
# > 4     4     b   3.5   3.5
# > 5     5     c   5.5   3.5
# > 6     6     c   5.5   3.5

summarise()

summarise()での列名や.の展開のされ方は、mutate()と同じ。ただし、summarise()はグループごとに1行しか結果を出さない。

また、mutate()の場合は実行結果もgrouped_dfになる（Groupsはそのまま残っている）が、summarise()の結果はGroupsが一つ減ったgrouped_dfになる。減った結果Groupsがひとつもなければtbl_dfになる。

g %>%
  summarise(m = mean(val), n = nrow(.))
# > Source: local data frame [3 x 3]
# > 
# >     cat     m     n
# >   (chr) (dbl) (int)
# > 1     a   1.5     6
# > 2     b   3.5     6
# > 3     c   5.5     6

do()

do()の場合は、上2つとは違って、.がグループに分割されたデータを表す。その代わり、列名での指定はエラーになる。

また、結果がlistにくるまれた状態になっているのも違う点。

g %>%
  do(m = mean(val), n = nrow(.))
# > Error in mean(val) : object 'val' not found

g %>%
  do(m = mean(.$val), n = nrow(.))
# > Source: local data frame [3 x 3]
# > Groups: <by row>
# > 
# >     cat        m        n
# >   (chr)   (list)   (list)
# > 1     a <dbl[1]> <int[1]>
# > 2     b <dbl[1]> <int[1]>
# > 3     c <dbl[1]> <int[1]>

ここで、「Groups: <by row>」となっていることに注目。これはrowwise_dfというオブジェクトになっている。

is(.Last.value)
# > [1] "rowwise_df"

rowwise_dfは、rowwise()のヘルプに説明がある。

Currently rowwise grouping only works with data frames. Its main impact is to allow you to work with list-variables in summarise and mutate without having to use [[1]]. This makes summarise() on a rowwise tbl effectively equivalent to plyr's ldply.

つまり、rowwise_dfに対してsummarise()するときは、[[1]]とかしなくてもlistの中の値を参照できる。なので、summarise()ではその列名を指定すれば大丈夫。

g %>%
  do(m = mean(.$val), n = nrow(.)) %>%
  summarise(cat, m, n)
# > Source: local data frame [3 x 3]
# > 
# >     cat     m     n
# >   (chr) (dbl) (int)
# > 1     a   1.5     2
# > 2     b   3.5     2
# > 3     c   5.5     2

例えばこんなふうにdo()で複数の値を結果に入れても、summarise()でそれをまとめてひとつの値にできれば大丈夫。

group_by(iris, Species) %>%
  do(sl_range = range(.$Sepal.Length)) %>%
  summarise(sl_range = sprintf("%.1f-%.1f", sl_range[1], sl_range[2]))
# > Source: local data frame [3 x 1]
# > 
# >   sl_range
# >      (chr)
# > 1  4.3-5.8
# > 2  4.9-7.0
# > 3  4.9-7.9

まとめ

	列名の解釈	.の解釈	結果の型
mutate()	グループ分けされたデータの列の値	データフレーム全体	grouped_df
summarise()	グループ分けされたデータの列の値	データフレーム全体	Groupsが一つ減ったgrouped_df（減った結果Groupsがひとつもなければtbl_df）
do()	-	グループ分けされたデータフレーム	rowwise_df