2022年 9月 27日(火)は、「LiveView JP#10：LivebookでキャッチーにElixirを楽しもう」が開催されました。@torifukukaiou さんは 「LiveView JP#10：LivebookでキャッチーにElixirを楽しもう」レポートにイベントを記録してくれました。
私の Lightning Talkでは 3ヶ月前の「Explorer: LivebookでTidyverse」の記事を再訪して、裏の考え方をちっょと説明して、結果がどのように変わったかを調べました。
ExplorerはRのTidyverseだぁ!
NxやMLの話題にはあんまり興味がありませんでしたが、Explorerを初めて聞いたときから「やっとElixirでデータサイエンスができる」と思いました。今まで R Studioやちょっと間にβ版のExploratoryでデータを分析しました。特にExploratoryを利用したときにデータフレームのパイプする方法を勉強になりました。これがTidyverseの基本機能でした。Elixirを初めて使ったときに、「あっ、Rのパイプと同じ使い方ですね。」と思いました。
では、話せるの日本語がちょっと弱いですので、概念をよく理解するために日本語でよく説明するRのTidyverse/dplyrを読むことをお勧めします。
ExplorerのHexdocsを見れば、dyplrと同じ動詞を利用する関数がいっぱいあります。しかも、*_withが追加されているExplorer関数は拡張する幅が広がります。バージョンがまだ0.3.1ですが、早くRの成熟した機能を超えている感じがあります。
Explorerを使ってデータ分析をしましょう
これからの説明は「LiveView JP#10」のセッションとちょっと別れます。LTでは標準のLivebookとExplorerの出力を利用しましたが、2次回で2つのことを勉強になりました:
-
Explorer.DataFrameをKino.DataTableで表示すること
@RyoWakabayashi さん - ありがとうございました -
Download.from()でウェブからデータを取得すること
@piacerex さん - ありがとうございました
これから、以上の項目がわかったらプレゼンをしましょう。
セットアップ
Livebookの新しいセッションを開始して、「Reconnect and setup」のセクションに以下をインストールしましょう。
Mix.install([
{:explorer, "~> 0.3.1"},
{:kino, "~> 0.6.2"},
{:download, "~> 0.0.4"}
])
データをインポートしましょう
alias Explorer.DataFrame, as: DF
alias Explorer.Series, as: S
unless File.exists?("balls-in-play-2022.tsv"), do:
{:ok, _filename} = Download.from(
"https://raw.githubusercontent.com/westbaystars/first-pitch-homeruns/main/balls-in-play-2022.tsv"
)
df = DF.from_csv!("balls-in-play-2022.tsv", delimiter: "\t")
-
Explorer.DataFrameとExplorer.Seriesをaliasして、略語を使用します。 - 「balls-in-play-2022.tsv」ファイルが存在してない場合、ドウンロードします。
- それから、TSVファイルを「タブ区切り」でデータフレームへロードします。
結果は:
#Explorer.DataFrame<
Polars[13453 x 10]
Player string ["Walker, Adam", "Walker, Adam", "Nakajima, Hiroyuki", "Nakajima, Hiroyuki",
"Ohshiro, Takumi", ...]
選手 string ["ウォーカー アダム", "ウォーカー アダム", "中島 宏之",
"中島 宏之", "大城 卓三", ...]
...
うん、テーブルで表示してみましょう。
…
df = DF.from_csv!("balls-in-play-2022.tsv", delimiter: "\t")
df
|> DF.to_rows()
|> Kino.DataTable.new()
データがあります! でも、列の順番が変ですよ。データフレームの順番は Player、選手、Team, Date, Game, Pitch、などでした。
ドキュメンテーションを読むと、DF.to_rows(df)はマップを作ります。そのマップの順番を保存してないので、列がぐちゃぐちゃになってしまう。だから、to_rows()を呼ぶ前に列のキーを集まって、Kino.DataTable.new(data, keys: [“Player”, “選手”, “Team”, …])で読んでみましょう。
...
df = DF.from_csv!("balls-in-play-2022.tsv", delimiter: "\t")
keys = DF.names(df)
df
|> DF.to_rows()
|> Kino.DataTable.new(keys: keys)
良くなりました。
では、これから列名が変わるので、show_table(df)の関数を作ってみましょう。
show_table = fn df ->
keys = DF.names(df)
df
|> DF.to_rows()
|> Kino.DataTable.new(keys: keys)
end
...
df = DF.from_csv!("balls-in-play-2022.tsv", delimiter: "\t")
df
|> show_table.()
よっし。これが使えるものです。
ホームランを集計しましょう
本塁打の数を集計したいので、この風にできます。
df
|> DF.filter_with(&S.equal(&1["Result"], "home-run"))
|> DF.group_by(["選手", "Team"])
|> DF.summarise(Pitches: [:count])
|> DF.rename(Pitches_count: "本塁打")
|> DF.arrange(desc: "本塁打")
|> show_table.()
言葉でパイプラインを通じすると:
- ホームランが打席の結果にフィルターして、
- 「選手」と「Team」で集まって、
- レコードの数を集計して (投球のフィールドを利用してますが、何でもいいです)、
- 集計した列名を「本塁打」にリネームして、
- 本塁打の多いから少ないへソートして、
- 表を表示しましょう
その結果は:
2022年 9月 24日現在の本塁打のリーダーと比べて、みんなは同値を確認しています。村上はすごいですね。
チームの列を日本語化にしましょう
表を見るとチームが英語の略語を利用しています。これらの12名をMapに入れたら、簡単に入れ替えれます。
teams = %{
"CHU" => "中", "HAN" => "阪", "HIR" => "広",
"YAK" => "ヤ", "YOK" => "De", "YOM" => "巨",
"LOT" => "ロ", "NIP" => "日", "ORX" => "オ",
"RAK" => "楽", "SEI" => "西", "SFT" => "ソ"
}
df
|> DF.filter_with(&S.equal(&1["Result"], "home-run"))
|> DF.mutate([チーム: &S.transform(&1["Team"], fn team -> Map.get(teams, team) end)])
|> DF.group_by(["選手", "チーム"])
|> DF.summarise(Pitches: [:count])
|> DF.rename(Pitches_count: "本塁打")
|> DF.arrange(desc: "本塁打")
|> show_table.()
DF.mutateで「チーム」という列を作成して、「Team」の列にある値をteamsのマップを取得して、日本語に変更します。
もちろん、DF.group_byに「Team」から「チーム」の列を表示したいですね。
「ヤ」の代わりに「ヤクルト」などを出力したい場合、マップを編集することができます。
一球目で誰が一番のホームランを打ってますか?
でも、「一球目に誰が一番多くの本塁打を打ってますか?」を調べたかった。そうするために、もう一つフィルターを頭に追加しましょう。
df
|> DF.filter_with(&S.equal(&1["Pitches"], 1))
|> DF.filter_with(&S.equal(&1["Result"], "home-run"))
…
3ヶ月前、阪神の大山と巨人の岡本がトップで 6つずつでした。この間、巨人の中田翔と村上が大山を超えて、岡本選手は+2本を打ちました。
注意点:
Explorer 0.3.xから DF.*_withの関数を追加して、0.2.xの filter、mutate、などのコールバック付き関数は廃止されました。以上に「DF.filter_with」を利用していますが、DF.mutateがまだ廃止された関数を利用してます。だから、以下の注意を表示しています:
warning: mutate/2 with a callback is deprecated, please use mutate_with/2 instead
(explorer 0.3.1) lib/explorer/data_frame.ex:1298: anonymous fn/3 in Explorer.DataFrame.df_for_mutations/2
(elixir 1.14.0-rc.0) lib/enum.ex:2468: Enum."-reduce/3-lists^foldl/2-0-"/3
(explorer 0.3.1) lib/explorer/data_frame.ex:1295: Explorer.DataFrame.df_for_mutations/2
(explorer 0.3.1) lib/explorer/data_frame.ex:1284: Explorer.DataFrame.mutate/2
(elixir 1.14.0-rc.0) src/elixir.erl:298: anonymous fn/4 in :elixir.eval_external_handler/1
(stdlib 4.0.1) erl_eval.erl:748: :erl_eval.do_apply/7
問題はS.transformの第2パラメータがコールバック関数をDF.mutate_withに渡せないことです。いろいろ調べてみましたが、いい方法がまだ見つかりません。このような変更が便利ですので、未来のリリースでできなくなって困ります。
まとめ
まぁ、私はプロ野球のデータを分析しますが、セミナーにいる方はアクセスログなどの使い方がすぐ見えました。Kino.DataTableとグラフ機能を利用すれば、もう少しでExploratoryのようなツールになれると思います。データ分析するためにElixirとExplorerの未来が明るいと思います。
では、これからも、よろしくお願い申し上げます。