100本ノックについて

データサイエンス100本ノック（構造化データ加工編）というのがあります。

模範回答は、SQL、R、Pythonの3つが用意されていますが、それをJuliaで解いてみました。

CSVの読み込み

↑URLのリポジトリの docker/work/data フォルダにCSVファイルがあるので、それをどこか適当なところに持ってきて読み込む。

using DataFramesMeta
using StatsBase
using CSV

dir = "/path/to/100knocks-preprocess/data/"
df_customers  = CSV.read(dir * "customer.csv", DataFrame)
df_categories = CSV.read(dir * "category.csv", DataFrame)
df_products   = CSV.read(dir * "product.csv", DataFrame)
df_geocodes   = CSV.read(dir * "geocode.csv", DataFrame)
df_receipts   = CSV.read(dir * "receipt.csv", DataFrame)
df_stores     = CSV.read(dir * "store.csv", DataFrame)
;
ENV["COLUMNS"] = 1000
;

ENV["COLUMNS"] を設定しているのは、それをデフォルトより大きく設定しないと列が欠落するから。数字は適当

単数形に違和感があったので、df_customer を df_customers のように複数形にしています。
以下、問題文は単数形ですが頭の中で読み替えてください。

P-001

レシート明細データ（df_receipt）から全項目の先頭10件を表示し、どのようなデータを保有しているか目視で確認せよ。

書き方は複数あります。

first(df_receipts, 10)

@linq df_receipts |> first(10)

@chain df_receipts begin
    first(10)
end

主に @chain マクロを使っていきます。
(@linq は非推奨らしいので)

@chain マクロを使うと、関数の第1引数に前行の結果を勝手に入れてくれて省略できるので、第1引数がDataFrame型であるJuliaのデータフレーム関連の関数をすっきり書ける。

P-004

レシート明細データ（df_receipt）から売上日（sales_ymd）、顧客ID（customer_id）、商品コード（product_cd）、売上金額（amount）の順に列を指定し、以下の条件を満たすデータを抽出せよ。
顧客ID（customer_id）が"CS018205000001"

@chain df_receipts begin
    select(:sales_ymd, :customer_id, :product_cd, :amount)
    @subset(:customer_id .== "CS018205000001")
end

or

@chain df_receipts begin
    select(:sales_ymd, :customer_id, :product_cd, :amount)
    @rsubset(:customer_id == "CS018205000001")
end

SQLでいうWHERE句は、@subset @rsubset を使います。
@rsubset が各行ごとの比較になるので、基本 @rsubset　でよさげ。
@subset　を使う場合は、Vectorをブロードキャストするために　== ではなく、.== とドットを付けて評価させる必要あり。

P-010

店舗データ（df_store）から、店舗コード（store_cd）が"S14"で始まるものだけ全項目抽出し、10件表示せよ。

@chain df_stores begin
    @rsubset(occursin(r"^S14", :store_cd))
    first(10)
end

@rsubset で評価する式は true or false を返す必要があり。
Juliaの関数名はアンダースコアをつけない文化があり、occurs in X (Xの中に存在するか)という英語で、occursin としているのだろうが他の言語にないネーミングセンスで最初戸惑う。

私はRuby脳なので、
arr.select{|a| /^S14/ =~ a.store_cd }
のように =~ と書けて、 nil と false 以外を真として扱えるRubyがここで少し恋しくなりました。

P-018

顧客データ（df_customer）を生年月日（birth_day）で若い順にソートし、先頭から全項目を10件表示せよ。

@chain df_customers begin
    sort(:birth_day, rev=true)
    first(10)
end

sort のデフォルトは昇順。降順にする場合は、rev=true

P-019

レシート明細データ（df_receipt）に対し、1件あたりの売上金額（amount）が高い順にランクを付与し、先頭から10件表示せよ。項目は顧客ID（customer_id）、売上金額（amount）、付与したランクを表示させること。なお、売上金額（amount）が等しい場合は同一順位を付与するものとする。

@chain df_receipts begin
    @transform(:rank = competerank(:amount, rev=true))
    select(:customer_id, :amount, :rank)
    sort(:amount, rev=true)
    first(10)
end

Row	customer_id	amount	rank
1	CS011415000006	10925	1
2	ZZ000000000000	6800	2
3	CS028605000002	5780	3
4	CS015515000034	5480	4
5	ZZ000000000000	5480	4
6	ZZ000000000000	5480	4
7	ZZ000000000000	5440	7
8	CS021515000089	5440	7
9	CS015515000083	5280	9
10	CS017414000114	5280	9

@transform で列の追加を行なう。(各行ごとの計算時は@rtransformを使う※後述)
ランク付けは StatsBase.competerank を使う。

P-023

レシート明細データ（df_receipt）に対し、店舗コード（store_cd）ごとに売上金額（amount）と売上数量（quantity）を合計せよ。

@chain df_receipts begin
    groupby(:store_cd)
    combine(:amount => sum, :quantity => sum)
end

Row	store_cd	amount_sum	quantity_sum
1	S14006	712839	2284
2	S13008	809288	2491
3	S14028	786145	2458
⋮	⋮	⋮	⋮

groupbyしたデータフレームに対して、
combine(:amount => sum) すると、amount 列を sum した結果が amount_sum 列に保持される。
関数に渡すだけで勝手に列名をよしなにつけてくれるのは便利

P-024

レシート明細データ（df_receipt）に対し、顧客ID（customer_id）ごとに最も新しい売上年月日（sales_ymd）を求め、10件表示せよ。

@chain df_receipts begin
    groupby(:customer_id)
    combine(:sales_ymd => last) 
    sort(:customer_id)
    first(10)
end

Row	customer_id	sales_ymd_last
1	CS001113000004	20190308
2	CS001114000005	20190731
3	CS001115000010	20171228
⋮	⋮	⋮

sum 以外も同様。
sales_ymd の last イズ sales_ymd_last
となるのは気持ちいい。

P-031

レシート明細データ（df_receipt）に対し、店舗コード（store_cd）ごとに売上金額（amount）の標準偏差を計算し、降順で5件表示せよ。

stdpop(x) = std(x, corrected=false)
@chain df_receipts begin
    groupby(:store_cd)
    combine(:amount => stdpop, :amount => std)
    sort(:amount_stdpop, rev=true)
    first(5)
end

Row	store_cd	amount_stdpop	amount_std
1	S13052	663.392	664.728
2	S14011	553.457	553.572
3	S14034	544.904	545.04
4	S13001	543.537	543.653
5	S13015	543.41	543.532

stdpop が母標準偏差( $\frac{1}{N}$ で割った場合)
std が不偏標準偏差( $\frac{1}{N-1}$ で割った場合)

Juliaのデフォルトだと不偏標準偏差が出てくる。(corrected=true)

それだと模範解答と合わなかったので仕方なく母標準偏差を出す。

P-037

商品データ（df_product）とカテゴリデータ（df_category）を内部結合し、商品データの全項目とカテゴリデータのカテゴリ小区分名（category_small_name）を10件表示せよ。

@chain df_products begin
    innerjoin(df_categories,
        on= :category_small_cd => :category_small_cd,
        makeunique=true
    )
    select(names(df_products), :category_small_name)
    first(10)
end

Row	product_cd	category_major_cd	category_medium_cd	category_small_cd	unit_price	unit_cost	category_small_name
1	P040101001	4	401	40101	198	149	弁当類
2	P040101002	4	401	40101	218	164	弁当類
3	P040101003	4	401	40101	230	173	弁当類
4	P040101004	4	401	40101	248	186	弁当類
⋮	⋮	⋮	⋮		⋮	⋮	⋮

内部結合は innerjoin を使う。SQLと同じ名前の関数が用意されているので馴染みやすい。
ただ、列名が重複している場合がSQLと比較してつらい。
全部の列がくっつくので、joinする前にselectしたデータフレームを用意した方がいいのかも。
とりあえずmakeunique=trueで回避する(末尾に_1がつく)

公式のドキュメント曰く
innerjoin(a, b, on=:ID, renamecols = "_left" => "_right")
とすると、左右のテーブルの列名に指定の文字を追加できるらしいが、接頭辞ではなく接尾辞なのが微妙。

P-043

レシート明細データ（df_receipt）と顧客データ（df_customer）を結合し、性別コード（gender_cd）と年代（ageから計算）ごとに売上金額（amount）を合計した売上サマリデータを作成せよ。性別コードは0が男性、1が女性、9が不明を表すものとする。
ただし、項目構成は年代、女性の売上金額、男性の売上金額、性別不明の売上金額の4項目とすること（縦に年代、横に性別のクロス集計）。また、年代は10歳ごとの階級とすること。

@chain df_receipts begin
    innerjoin(df_customers, 
        on= :customer_id => :customer_id,
        makeunique=true)
    @rtransform(:generation = floor(Int, :age / 10) * 10)
    groupby([:gender_cd, :generation])
    combine(:amount => sum)
    unstack(:generation, :gender_cd, :amount_sum)
    rename([:generation, :male, :female, :unknown])
end

Row	generation	male	female	unknown
1	10	1591	149836	4317
2	20	72940	1363724	44328
3	30	177322	693047	50441
4	40	19355	9320791	483512
5	50	54320	6685192	342923
6	60	272469	987741	71418
7	70	13435	29764	2427
8	80	46360	262923	5111
9	90	missing	6260	missing

@rtransform で、列の追加を行なう。
横持ちは unstack を使う。

P-058

顧客データ（df_customer）の性別コード（gender_cd）をダミー変数化し、顧客ID（customer_id）とともに10件表示せよ。

@chain df_customers begin
    select(:customer_id, :gender_cd)
    @aside gender_cds = unique(df_customers.gender_cd) |> sort
    transform(:gender_cd => ByRow(v -> gender_cds .== v)
        => Symbol.(:gender_cd_, gender_cds))
    select(Not(:gender_cd))
    first(10)
end

Row	customer_id	gender_cd_0	gender_cd_1	gender_cd_9
1	CS021313000114	false	true	false
2	CS037613000071	false	false	true
3	CS031415000172	false	true	false
⋮	⋮	⋮	⋮	⋮

参考: https://yjunechoe.github.io/posts/2022-11-13-dataframes-jl-and-accessories/

ダミー変数化。one-hot encoding。
もっとうまい書き方がある気がするが、調べてもこれより良いのが見つからず。

納得がいかないので、この記事を書きながらまた書き直した。

@chain df_customers begin
    select(:customer_id, :gender_cd)
    @rtransform(:gender_cd_col = string("gender_cd_", :gender_cd))
    @rtransform(:gender_cd_val = true)
    unstack(:gender_cd_col, :gender_cd_val, fill=false)
    select(Not(:gender_cd))
    first(10)
end

Row	customer_id	gender_cd_1	gender_cd_9	gender_cd_0
1	CS021313000114	true	false	false
2	CS037613000071	false	true	false
3	CS031415000172	true	false	false
⋮	⋮	⋮	⋮	⋮

P-059

レシート明細データ（df_receipt）の売上金額（amount）を顧客ID（customer_id）ごとに合計し、売上金額合計を平均0、標準偏差1に標準化して顧客ID、売上金額合計とともに10件表示せよ。標準化に使用する標準偏差は、分散の平方根、もしくは不偏分散の平方根のどちらでも良いものとする。ただし、顧客IDが"Z"から始まるのものは非会員を表すため、除外して計算すること。

@chain df_receipts begin
    @rsubset(occursin(r"^[^Z]", :customer_id))
    groupby(:customer_id)
    combine(:amount => sum)
    @transform(:amount_sum_std = zscore(:amount_sum))
    sort(:customer_id)
    first(10)
end

平均0、標準偏差1に標準化は zscore を使う。

Row	customer_id	amount_sum	amount_sum_std
1	CS001113000004	1298	-0.45935
2	CS001114000005	626	-0.706348
3	CS001115000010	3044	0.182403
⋮	⋮	⋮	⋮

P-078

レシート明細データ（df_receipt）の売上金額（amount）を顧客単位に合計し、合計した売上金額の外れ値を抽出せよ。ただし、顧客IDが"Z"から始まるのものは非会員を表すため、除外して計算すること。なお、ここでは外れ値を第1四分位と第3四分位の差であるIQRを用いて、「第1四分位数-1.5×IQR」を下回るもの、または「第3四分位数+1.5×IQR」を超えるものとする。結果は10件表示せよ。

@chain df_receipts begin
    @rsubset(occursin(r"^[^Z]", :customer_id))
    groupby(:customer_id)
    combine(:amount => sum)
    @aside quartiles = quantile(_.amount_sum)
    @aside IQR = quartiles[4] - quartiles[2]
    @rsubset(:amount_sum < (quartiles[2] - 1.5*IQR)
        || (quartiles[4] + 1.5*IQR) < :amount_sum)
    sort(:customer_id)
    first(10)
end

Row	customer_id	amount_sum
1	CS001414000048	8584
2	CS001605000009	18925
3	CS002415000594	9568
⋮	⋮	⋮

@aside は、chainマクロの中で次行に引き継ぎたくない計算のときに使う。

Statistics.quantile 関数は、四分位数と一緒に最小値と最大値も返してくることに注意。

quantile(df_receipts.amount)
# => 5-element Vector{Float64}:
    10.0 # ←最小値
   102.0 # ←第1四分位数
   170.0
   288.0
 10925.0 # ←最大値

Juliaの配列は0始まりのインデックスではなく1始まりであることもあり、
第1四分位数を取得するのに quartiles[2] になってしまうのがモヤる。

P-086

085で作成した緯度経度つき顧客データに対し、会員申込店舗コード（application_store_cd）をキーに店舗データ（df_store）と結合せよ。そして申込み店舗の緯度（latitude）・経度情報（longitude)と顧客住所（address）の緯度・経度を用いて申込み店舗と顧客住所の距離（単位：km）を求め、顧客ID（customer_id）、顧客住所（address）、店舗住所（address）とともに表示せよ。計算式は以下の簡易式で良いものとするが、その他精度の高い方式を利用したライブラリを利用してもかまわない。結果は10件表示せよ。

latlngs = @chain df_geocodes begin
    groupby(:postal_cd)
    combine(:latitude => mean => :latitude, :longitude => mean => :longitude)
end

stores_latlngs = @chain df_stores begin
    select(:store_cd, :address => :store_address, 
        :latitude => :store_latitude, :longitude => :store_longitude)
end

@chain df_customers begin
    innerjoin(latlngs, on= :postal_cd => :postal_cd)
    innerjoin(stores_latlngs, on= :application_store_cd => :store_cd)
    @rtransform(:distance_to_store = begin
        ϕ₁, ϕ₂ = deg2rad.([:latitude, :store_latitude])
        λ₁, λ₂ = deg2rad.([:longitude, :store_longitude])
        6371 * acos(sin(ϕ₁)*sin(ϕ₂) + cos(ϕ₁)*cos(ϕ₂)*cos(λ₁ - λ₂))
    end)
    select(:customer_id, :address, :store_address, :distance_to_store)
    first(10)
end

Row	customer_id	address	store_address	distance_to_store
1	CS020301000012	埼玉県川口市青木**********	東京都北区十条仲原三丁目	4.7222
2	CS051412000011	埼玉県川口市飯塚**********	東京都板橋区大原町	3.40719
3	CS051412000012	埼玉県川口市飯塚**********	東京都板橋区大原町	3.40719
⋮	⋮	⋮	⋮	⋮

Juliaで書いてて一番気持ちよかった問題。
6371 * acos(sin(ϕ₁)*sin(ϕ₂) + cos(ϕ₁)*cos(ϕ₂)*cos(λ₁ - λ₂))
という数式そのままを書いて、それが動く感動。

その他の問題について

回答は以下に置いています。

Juliaはいいぞ。