Daruの基本操作

この記事ではRubyのデータフレームであるDaruを紹介します。
(編集リクエストは大歓迎します）

Daruとは

Pythonにおけるpandas。Daruはインドのお酒の意味だそうです。

　　　　　

2023年6月時点の開発状況について

幸いにしてRubyのデータフレームには新しい作品がいくつもありますが、Daru自体の開発は事実上休止しています。Daruはあくまで歴史的な文化財として、実際にデータを処理する場合は、下記のいずれかのデータフレームの利用をおすすめします。

↑Pure Ruby製。この中では最も安定していると思われる。

↑今後Pythonなどでデファクトになる可能性が高いPolarsのRuby版。

↑RedArrowを用いたubyとの親和性の高いデータフレーム。

特徴

column(Series)をvectorと呼ぶところ。

青い四角で強調されている部分がVectorです。

関連プロジェクト

• Daru::View
  • Google Charts(GoogleVisualr), Highcharts(lazy_high_charts) による可視化ライブラリ。
• Daru-IO
  • 標準でサポートされていないデータ形式等の読み込み。完成度はそんなに高くないかも。
• rubyplot
  • Daruに搭載されるかもしれないプロッティングライブラリ

クラス

Daru::DataFrame と Daru::Vector を覚えておけばだいたい事足ります。

クラス名	説明
Daru::DataFrame	データフレーム
Daru::Vector	シリーズ（列）
Daru::Index	インデックス（軸）
Daru::DateTimeIndex	時系列のインデックス
Daru::MultiIndex	階層型インデックス
Daru::Core::GroupBy
Daru::Core::MergeFrame

インストール

RubyGemに登録されているDaruはやや古いのでGithubのmasterからインストールする方がいいでしょう。

gem install specific_install
gem specific_install https://github.com/SciRuby/daru

require 'daru'

Jupyter Notebook + IRuby環境が推奨される。

データを読み込む

CSVファイル

Daru::DataFrame.from_csv "filepath"

インターネット上のCSVファイル

require 'open-uri'
url = 'https://raw.githubusercontent.com/pandas-dev/pandas/v1.0.5/pandas/tests/io/data/csv/iris.csv'
df = Daru::DataFrame.from_csv(url)

一般的なもの

Daru::DataFrame.new a: [1,2,3,4,5], b: [2,3,4,5,6]
Daru::DataFrame.rows 配列
# 数値がStringになる場合あり、何らかの改善の余地

RのデータセットでDaruをためすとき。

require 'rdatasets'
df = RDatasets.load :datasets, :iris

そのほか
from_activerecord from_excel from_html from_plaintext from_sql など

Daru-ioを見ると色々ある。（完成度は高くない印象）

• Importers
  • ActiveRecord, Avro, CSV, Excel, Excelx, HTML, JSON, Mongo, Plaintext, RData, RDS, Redis, SQL
• Exporters
  • Avro, CSV, Excel, JSON, RData, RDS, SQL

データの状態を確認する

先頭の5行を表示する

df.head 5

| SepalLength | SepalWidth | PetalLength | PetalWidth | Name
---| ----------- | ---------- | ----------- | ---------- | -----------
0 | 5.1 | 3.5 | 1.4 | 0.2 | Iris-setosa
1 | 4.9 | 3.0 | 1.4 | 0.2 | Iris-setosa
2 | 4.7 | 3.2 | 1.3 | 0.2 | Iris-setosa
3 | 4.6 | 3.1 | 1.5 | 0.2 | Iris-setosa
4 | 5.0 | 3.6 | 1.4 | 0.2 | Iris-setosa

最後尾の5行を表示する

df.tail 5

| SepalLength | SepalWidth | PetalLength | PetalWidth | Name          

--- | ----------- | ---------- | ----------- | ---------- | --------------
145 | 6.7 | 3.0 | 5.2 | 2.3 | Iris-virginica[150, 5]
146 | 6.3 | 2.5 | 5.0 | 1.9 | Iris-virginica
147 | 6.5 | 3.0 | 5.2 | 2.0 | Iris-virginica
148 | 6.2 | 3.4 | 5.4 | 2.3 | Iris-virginica
149 | 5.9 | 3.0 | 5.1 | 1.8 | Iris-virginica

行数・列数を確認する

df.shape # 形状 [150, 5]
df.ncols # 列数 5
df.nrows # 行数 150
df.size  # 行数 150

列名の取得

df.vectors
#<Daru::Index(5): {SepalLength, SepalWidth, PetalLength, PetalWidth, Name}>

返却されるのはIndexクラスのオブジェクト。Vectorや配列ではない。

データを選択する

以下、特に断りがない場合は .head(5) している場合があります。

Ⅲ 列 Ⅲ

[] でVectorの名前を指定する

df['vector1', 'vector2']
df.vector1

df['SepalLength']
df.SepalLength

| SepalLength
---| -----------
0 | 5.1
1 | 4.9
2 | 4.7
3 | 4.6
4 | 5.0

at 列数で指定

df.at 0, 1

| SepalLength | SepalWidth

--- | ----------- | ----------
0 | 5.1 | 3.5
1 | 4.9 | 3.0
2 | 4.7 | 3.2
3 | 4.6 | 3.1
4 | 5.0 | 3.6

[列数] は返却されたデータフレームのベクトルの名前も数になる

df[0, 1]

| 0 | 1
---| --- | ---
0 | 5.1 | 3.5
1 | 4.9 | 3.0
2 | 4.7 | 3.2
3 | 4.6 | 3.1
4 | 5.0 | 3.6

≡ 行 ≡

row[] でindexを指定（行数ではないので注意）

df.row[100] # df.row 100 はエラー df.row [100] もエラーになる

        | 100           

----------- | --------------
SepalLength | 6.3
SepalWidth | 3.3
PetalLength | 6.0
PetalWidth | 2.5
Name | Iris-virginica

範囲

df.row[100..105]

| SepalLength | SepalWidth | PetalLength | PetalWidth | Name          

--- | ----------- | ---------- | ----------- | ---------- | --------------
100 | 6.3 | 3.3 | 6.0 | 2.5 | Iris-virginica
101 | 5.8 | 2.7 | 5.1 | 1.9 | Iris-virginica
102 | 7.1 | 3.0 | 5.9 | 2.1 | Iris-virginica
103 | 6.3 | 2.9 | 5.6 | 1.8 | Iris-virginica
104 | 6.5 | 3.0 | 5.8 | 2.2 | Iris-virginica
105 | 7.6 | 3.0 | 6.6 | 2.1 | Iris-virginica

複数

df.row[40,90,140]
# indexは数値とは限らない
# df.row[:a]

| SepalLength | SepalWidth | PetalLength | PetalWidth | Name           

--- | ----------- | ---------- | ----------- | ---------- | ---------------
40 | 5.0 | 3.5 | 1.3 | 0.3 | Iris-setosa
90 | 5.5 | 2.6 | 4.4 | 1.2 | Iris-versicolor
140 | 6.7 | 3.1 | 5.6 | 2.4 | Iris-virginica

row_at で行数を指定

df.row_at 100          # Vector が返される
df.row_at 100..105     # DataFrame
df.row_at 100, 102     # DataFrame

| SepalLength | SepalWidth | PetalLength | PetalWidth | Name          

--- | ----------- | ---------- | ----------- | ---------- | --------------
100 | 6.3 | 3.3 | 6.0 | 2.5 | Iris-virginica
102 | 7.1 | 3.0 | 5.9 | 2.1 | Iris-virginica

df.row[100] 等として、取り出すことは可能だが、取り出したデータフレームのベクトルの名前も100になる。また、1行だけ取り出す場合は、データフレームではなくベクトルが返却される。

df = Daru::DataFrame.new({a:[1,2,3], b:[4,5,6]}, index: [:a,:b,:c])

| a | b
---|---|---
a | 1 | 4
b | 2 | 5
c | 3 | 6

df.row[:b]

Daru::Vector(2)

| b
---|---
a | 2
b | 5

df.row[1]

Daru::Vector(2)

| 1
---|---
a | 2
b | 5

df.row_at 1

Daru::Vector(2)

a	2
b	5

列と行を同時に選択する

ベクトルを先に指定する

df['SepalLength'][3]       # 4.6

where で抽出

真偽値インデックス

df.where(df.col1.eq "hoge")
df.where(df.col1 > 10 )
df.where(df.col1 > 10 | df.col2 < 10)
df.where((df.col1 > 10 | df.col2 < 10 ) & df.col3.eq 10)

# and or
df.where(((df.col1 > 10).or df.col2 < 10).and df.col3.eq 10)

eq not_eq
mt lt mteq lteq
gt

& | && || and or など

この領域はDaruは改善の余地がありそうです
Numo::NArray など他のライブラリとの統一感があまりない
データフレーム全体を真偽値でマスクする方法はないかもしれない

df.where(df.SepalLength > 7.5)

| SepalLength | SepalWidth | PetalLength | PetalWidth | Name          

--- | ----------- | ---------- | ----------- | ---------- | --------------
105 | 7.6 | 3.0 | 6.6 | 2.1 | Iris-virginica
117 | 7.7 | 3.8 | 6.7 | 2.2 | Iris-virginica
118 | 7.7 | 2.6 | 6.9 | 2.3 | Iris-virginica
122 | 7.7 | 2.8 | 6.7 | 2.0 | Iris-virginica
131 | 7.9 | 3.8 | 6.4 | 2.0 | Iris-virginica
135 | 7.7 | 3.0 | 6.1 | 2.3 | Iris-virginica

filter で抽出

whereよりも記述が長くなるのですが、filterの方が書いていてRubyっぽくて楽だなあと感じることがあります。

df2 = df.filter do |vector|
  vector.type == :numeric and vector.median < 50
end

df2 = df.filter(:row) do |row|
  row[:a] + row[:d] < 100
end

mdt df.filter(:row){|row| row["SepalLength"] < 4.6}

| SepalLength | SepalWidth | PetalLength | PetalWidth | Name
---| ----------- | ---------- | ----------- | ---------- | -----------
8 | 4.4 | 2.9 | 1.4 | 0.2 | Iris-setosa
13 | 4.3 | 3.0 | 1.1 | 0.1 | Iris-setosa
38 | 4.4 | 3.0 | 1.3 | 0.2 | Iris-setosa
41 | 4.5 | 2.3 | 1.3 | 0.3 | Iris-setosa
42 | 4.4 | 3.2 | 1.3 | 0.2 | Iris-setosa

keep_row_if　　keep_vector_if

破壊的メソッド

df.keep_row_if do |row|
  row[:a] > 5
end
# return [index, index, ...]

要素をカウントする

vector.value_counts

df.Name.value_counts

Iris-setosa	50
Iris-versicolor	50
Iris-virginica	50

Uniq
vector.uniq

df.Name.uniq

| Name           

--- | ---------------
0 | Iris-setosa
50 | Iris-versicolor
100 | Iris-virginica

欠損値を扱う

df.has_missing_data?
# nil, Float::NAN に反応する. 文字列 "NA" などには反応しない。
# df.reject_values "NA"
# 下記を使うためには df.replace_values "NA", nil などとする

df.include_values? nil
vector.count_values nil
df.filter_rows{|r| r.include? nil, Float::NAN}
df.dup_only_valid
df.clone_only_valid # 'shallow' copy
df.collect{|v| v.count_values nil}

df.replace_values nil, Float::NAN

例えば次のようにして、欠損値があるベクトルと、その個数の一覧を表示できる。

require 'rdatasets'
df = RDatasets.Stat2Data.Hawks
df.replace_values "NA", nil
df.collect{|v| v.count_values nil}

Month	0
Day	0
Year	0
CaptureTime	0
ReleaseTime	0
BandNumber	0
Species	0
Age	0
Sex	0
Wing	1
Weight	10
Culmen	7
Hallux	6
Tail	0
StandardTail	337
Tarsus	833
WingPitFat	831
KeelFat	341
Crop	343

ベクトルには replace_nils! メソッドを使うことができる。

vector.replace_nils!
df["vname"].replace_nils!(0)

補間

現状ではほとんどできないと思われる。

df.rolling_fillna
df.rolling_rillna!

Rubyのイテレーターを使う

鬼門です。ものすごくわかりにくいです。
もしかすると、DaruのAPI自体を改善した方がよいかもしれません。
Daruの評判の悪さの原因の大半はここにあると思います。ひょっとすると、このわかりにくさはRubyそのものに遠因があるかもしれません。

####　map　collect　reduce　inject　all?　any?

DataFrame

• each map はaxis:(:row :vector :column)を指定する。all? any? も同様

• each_vector, each_row, map_vectors, map_rows

• each_vector_with_index, each_row_with_index, map_vectors_with_index, map_rows_with_index

• collect の挙動は map と違い、vectorになる。

• map は配列を返却する。

• map! は破壊的でdataframeになる

• recode は破壊的ではないが、dfを返却する

• inject はない。

• collect_matrix

• clone / dup

• transpose

名前の違うメソッドは、それぞれ微妙に挙動が違う傾向がある。mapは配列を返し、collectはVectorを返し、map!はdfを返し破壊的、recodeもdataframeを返すが破壊的ではないという関係性はわかりにくい。ここに書いてあることも間違っているかもしれない。現状まだ把握しきれていない。

Vector

apply_method

引数はsymbol。procも引数に取る。破壊的ではない

df.apply_method(:some_nice_method)
df.apply_method(->(x){x*10})
# df * 10

aggregate

Rubyではブロックがあるため lambda のダッシュロケット記法はそんなに見かけないが、Daruでは使うシーンがあるだろうか?

df.aggregate(num_100_times: ->(df) { (df.num*100).first })
df.aggregate(num: :mean)

列名の変更

rename_vectors

df.rename_vectors :a => :alpha, :b => :beta

単なるrenameはデータフレームの名称変更を意味するので、'name' という名前のベクトルがある時に注意

df.name # データフレームの名前

列の並び替え

df.order = ["col2", "col1"]
df.order = Daru::Index.new["col2", "col1"]

行の並び替え

df.reindex Daru::Index.new([1,3,2,4])

特定の列をindexにする

df.set_index "vector"

ソートする

df.sort ["col1"]
df.sort ["col1", "col2"]
df.sort ["col1"], assending: false
df.sort! ["col1"]

df.sort [:b], by: {b: lambda { |a| a.length } }, handle_nils: true

マージする

Daruでは join というメソッドを使う。
how で :inner :outer :right :left などを指定。

new_df = df.join(df2, how: :inner, on: [:name])

一方で merge という名前のメソッドもある。

結合する

new_df = df.concat(df2)

時系列インデックス

DateTimeIndex

from_csv => datetime => set_index

vecotor['2014']

month などを利用して df["month"] = df.index.month
と行を追加して、`group_by("month") などとすれば月別の集計もできるかも。（現状は既知のバグあり）

統計量

df.max
df.min
df.mean
df.median
df.std
df.variance
df.rolling_XXX #XXXにはmin, max, meanなどが入る
df.standardize
# etc

表示が見にくいときはroundが使える。

df.group_by("Species").mean.round(3)

describe

df.describe.round(2)

  | SepalLength | SepalWidth | PetalLength | PetalWidth

----- | ----------- | ---------- | ----------- | ----------
count | 150 | 150 | 150 | 150
mean | 5.84 | 3.05 | 3.76 | 1.2
std | 0.83 | 0.43 | 1.76 | 0.76
min | 4.3 | 2.0 | 1.0 | 0.1
max | 7.9 | 4.4 | 6.9 | 2.5

summary はterminal出力用

group_by

gb = df.group_by [:col1, :col2]
gb.mean
gb.get_group :col1

gbは Daru::Core::GroupBy クラスのオブジェクト。

df.group_by("Name").mean.round(3)

            | SepalLength | SepalWidth | PetalLength | PetalWidth

--------------- | ----------- | ---------- | ----------- | ----------
Iris-setosa | 5.006 | 3.418 | 1.464 | 0.244
Iris-versicolor | 5.936 | 2.77 | 4.26 | 1.326
Iris-virginica | 6.588 | 2.974 | 5.552 | 2.026

pivot

df = Daru::DataFrame.new({
  a: ['foo'  ,  'foo',  'foo',  'foo',  'foo',  'bar',  'bar',  'bar',  'bar'],
  b: ['one'  ,  'one',  'one',  'two',  'two',  'one',  'one',  'two',  'two'],
  c: ['small','large','large','small','small','large','small','large','small'],
  d: [1,2,2,3,3,4,5,6,7],
  e: [2,4,4,6,6,8,10,12,14]
})

| a | b | c | d | e
---| --- | --- | ----- |---|---
0 | foo | one | small | 1 | 2
1 | foo | one | large | 2 | 4
2 | foo | one | large | 2 | 4
3 | foo | two | small | 3 | 6
4 | foo | two | small | 3 | 6
5 | bar | one | large | 4 | 8
6 | bar | one | small | 5 | 10
7 | bar | two | large | 6 | 12
8 | bar | two | small | 7 | 14

hoge = df.pivot_table(index: [:a, :c], vectors: [:b], agg: :mean, values: :e)

  |       |one   | two  

----- | ----- | ---- | ----
bar | large | 8.0 | 12.0
|small | 10.0 | 14.0
foo | large | 4.0 |
|small | 2.0 | 6.0

行や列の追加

最後の列に追加するとき

df["new_name"] = Vector.new

add_vector add_row　などで列数・行数を指定できる。

行や列の削除

delete_vector delete_vectors delete_row

only_numerics

type には object と numeric の2種類がある。
only_numerics は便利で使用頻度が高い

df.only_numerics # 数値だけのデータフレーム

カテゴリー

df.to_category "Name"
df.Name.type           # :category

dfs = df.split_by_category "Name"
dfs[0].head(3)
dfs[1].head(3)
dfs[2].head(3)

| SepalLength | SepalWidth | PetalLength | PetalWidth
---| ----------- | ---------- | ----------- | ----------
0 | 5.1 | 3.5 | 1.4 | 0.2
1 | 4.9 | 3.0 | 1.4 | 0.2
2 | 4.7 | 3.2 | 1.3 | 0.2

| SepalLength | SepalWidth | PetalLength | PetalWidth
---| ----------- | ---------- | ----------- | ----------
50 | 7.0 | 3.2 | 4.7 | 1.4
51 | 6.4 | 3.2 | 4.5 | 1.5
52 | 6.9 | 3.1 | 4.9 | 1.5

| SepalLength | SepalWidth | PetalLength | PetalWidth

--- | ----------- | ---------- | ----------- | ----------
100 | 6.3 | 3.3 | 6.0 | 2.5
101 | 5.8 | 2.7 | 5.1 | 1.9
102 | 7.1 | 3.0 | 5.9 | 2.1

可視化ライブラリ

Nyaplot

標準はNyaplotである。もし使いたい場合は erector もインストールする。
Nyaplotはかっこいい。しかしメンテナンスが事実上停止しており、今後の開発は期待しにくい。
Jupyter Labでは動作しないかもしれない。オフラインでも動作しない。
散布図、棒グラフ、箱ひげ図、折れ線、ヒストグラムなどがある。
現在RubyPlotの開発が進められているが、おそらくNyaplotの置き換えを視野に入れていると思われる。

Daru::View

現状では実用性で Daru::View が頭一つ抜ける。Google Chartsは使いやすい。

require 'daru/view'
require 'rdatasets'

df = RDatasets.load :datasets, :USArrests
df.head 5

| | Murder | Assault | UrbanPop | Rape
---| ---------- | ------ | ------- | -------- | ----
0 | Alabama | 13.2 | 236 | 58 | 21.2
1 | Alaska | 10 | 263 | 48 | 44.5
2 | Arizona | 8.1 | 294 | 80 | 31
3 | Arkansas | 8.8 | 190 | 50 | 19.5
4 | California | 9 | 276 | 91 | 40.6

Daru::View::Plot.new(df,
    title: "USArrests dataset",
    width: 900,
    height: 560,
    isStacked: true,
    hAxis: {slantedTextAngle: 90, textStyle: {fontSize: 9}},
    type: :column,
    adapter: :googlecharts
    ).show_in_iruby

Daru::View::Plot.new(df,
    title: "USArrests Dataset", 
    titleTextStyle: {fontSize: 16},
    width: 840,
    height: 560,
    hAxis: {title: "Murder"},
    vAxis: {title: "Assault"},
    colors: ["yellow", "red"],
    type: :bubble,
    adapter: :googlecharts
    ).show_in_iruby

散布図行列

下記のような関数を作成すれば、散布図行列のようなものを描くことも可能である。

def pair_plot(df)
  vector_names = df.only_numerics.vectors.to_a

  opts = {
    chartArea: { left: 5, right: 5, top: 5, bottom: 5 },
    height: 100,
    width: 100,
    hAxis: { viewWindowMode: 'maximized' },
    vAxis: { viewWindowMode: 'maximized' },
    backgroundColor: '#f0f0f0',
    gridlineColor: 'white',
    colors: ['#4784BF']
  }

  vector_names.each do |row|
    plots = vector_names.map do |column|
      if row != column

        Daru::View::Plot.new(
          df[column, row], opts.merge(type: :scatter,
                                      pointSize: 1)
        )
      else
        Daru::View::Plot.new(
          df[row], opts.merge(title: row,
                              titlePosition: 'in',
                              type: :histogram)
        )
      end
    end
    IRuby.display Daru::View::PlotList.new(plots).show_in_iruby
  end
end

pair_plot(df)

numo-gnuplot

gnuplotの文法に慣れていれば使いやすいかもしれない。
【Ruby】Daru + gnuplot で散布図を描く

PyCall + Python のライブラリ

ややトリッキーだが、PyCallを利用してPythonのライブラリを使用する方法がある。仕事で他人に見せるなど、本格的なグラフが必要なときの手段として有力。

require 'daru'
require 'rdatasets'

iris = RDatasets.load :datasets, :iris
iris.write_csv "iris.csv"

require 'pycall'
require 'pycall/import'
include PyCall::Import
require 'matplotlib/iruby'
Matplotlib::IRuby.activate
Matplotlib.interactive(false) # これがないと描画がとても遅くなる

pyimport :pandas, as: :pd
pyimport :seaborn, as: :sns

df = pd.read_csv("iris.csv")
df.head(3)

sns.pairplot(df, hue: "Species")

書き出す

write_csv

おわりに

Rails関連

Rails と jupyter の連携をとても簡単にする railtie の gem を書いた

Daruの歩き方

困ったら yard server -g でドキュメントを読む。
IRuby上で ri でドキュメントを見たり、 show-source や でソースコードに当たってみる。Pryを活用する。

show-source Daru::DataFrame#from_csv

とすれば、該当部分のソースがJupyterに表示される。
ソースコードは平易で、詳しくない人でもまあまあ読める。怪しいと思ったら、ソースコード全体をセルにコピペして、オープンクラスの仕組みを使ってデバッグ。バグを踏んだらぜひissueに投稿してほしい。

ri Daru::DataFrame.some_nice_method

Daruからの声

下記のポエムを頭の片隅におくと、Daruのメソッドの名付け方が理解しやすいかもしれない。

…きこえますか…きこえますか…ルビイストよ…Daruです。いいですか、データは大事です。データとは、単なる数字の列ではありません。それは誰かが膨大な時間をかけて収集した貴重な資料です。たとえば…パン10個、ゾウ10頭、10光年、10年、Version10…。いずれも同じ数字の 10 ですが意味はだいぶ違うでしょ？　実はデータには、数字以上の情報が含まれているのですよ！君は、その数字の列が本当は何を意味しているのか理解しなければなりません…。

…ベクトルをいくつか集めたのがデータフレームです。ベクトルの「名前」には、データを記述した人間が観測した目的や意図が、名前という形で刻印されています。データフレームとは、単なる行列計算の道具ではないのです。それは、数字に付与された人間の残存思念を、ベクトルの名称という形でサポートするツールなのです。だから、ベクトルは番号ではなく、なるべく「名前」で呼んであげなければなりません。Daruの世界ではベクトルはRow(行)などよりずっと偉いのです！

（※Daruの公式見解ではなく筆者がDaruをみて感じた感想です）

QiitaにおけるDaruの記事

• Daru のちょっと詳しい説明: Index, Vector, DataFrame のデータ構造について
• Rubyで数値計算（R, Pythonと比較）
• Jupyter Notebook + Ruby で CSV を加工して出力する
• daru チートシート
• Ruby で数値を弄るやーつ -- Daru について --
• Rubyでデータ解析 - Daru入門

参考資料（pandas)

• データ分析で頻出のPandas基本操作
• ゆるふわPandasチートシート