目的
機械学習の一連の流れをタイタニック号の乗客の生存予測モデル作成を通して体験する。
先駆者の残してくれた記事に習い、どういう思考プロセスで開発しているのかを知る。
わからない関数、処理があれば調べてコメントとして残しておく。
参考元
以下の「キヨシの命題」様の記事を参考にさせていただきます。
タイタニック号の乗客の生存予測〜80%以上の予測精度を超える方法（探索的データ解析編）
https://yolo-kiyoshi.com/2018/12/16/post-951/
探索的データ解析編 をやってみる
「キヨシの命題」様のサイトには複数のタイタニック号の乗客の生存予測の記事が存在していた。
私はその中でも副題に「80%以上の予測精度を超える方法」がついている2記事を体験してみることにした。
２記事と言っても前編と後編に別れている。
「探索的データ解析編」と「モデル構築＆推論編」である。
本記事では前編の「探索的データ解析編」を体験する。
その前に探索的データ解析のことを理解しておく必要があるので以下復習。
探索的データ解析
英語ではExplanatory Data Analysis（略してEDA）データの特徴を探求し、構造を理解することを目的としたデータサイエンスの最初の一歩です。
探索的データ解析は機械学習のタスクの一番最初のフェーズで、まずはデータに触れてみて、データを視覚化したり、データのパターンを探したり、特徴量やターゲットの関係性/相関性を感じるとるのが目的です。
環境
- Pythonでバージョンは3.7
- Colaboratory
環境準備
紹介されていたkaggleのサイトからデータ(csvファイル３つ)をダウンロードした。
https://www.kaggle.com/c/titanic/data
- gender_submission.csv
- test.csv
- train.csv
ダウンロードしたファイルをColaboratoryにアップロードする。
参考サイトに習いtrain.csvとtest.csvを/data/rawを作成後、配下に格納した。
データ準備
inputの通り入力し、outputの通り出力されることを確認した。
わからない関数、ぱっと説明ができないライブラリに関しては調べてメモを書いた。
結合できました。
indexを振り直すところは他のやり方もあるみたいなのでちょっと脱線してお試しもしてみた。
変数につけた「mid」は何の略何だろうか？ 分かる人いたら教えて欲しいです。
#探索的データ解析
判断基準が「生存率約0.38」というのがキモであることがわかった。
##Pclass に着目
pandasやseabornを使ってデータの解析をする。
平均を取ったり、グラフ化してデータを客観的にみる。
##Name に着目
ミドルネームに着目する。
Nameからミドルネームだけ抽出。
テストに関係ないものは除外。
少数レコードは統合。（抽象化？）
この数値から関係がありそう。。。とは自分は見えない。
数学的知見からだとそう見えるのだろうか。
##Fare に注目
distplot関数をちょいちょいいじって遊んでみたが、
デフォルト設定に頼り切ってしまうと痛い目にあいそうと理解した。
log1p関数については今の段階では何をしているのか理解できなかった。掘り下げが必要。
##Age に注目
欠損値は除外して考えているがどうにかして推定できないか。。。
##Family に注目
「家族数」の列を新たに作成する。
参考記事の後述リンク先にもあるが「家族単位で行動していた可能性が高い」という点から、この変数を作成するに至っているらしい。
ビニング処理のやりたいことはわかった！
##Cabin に注目
「Cabinの頭文字は部屋がどの階層にあったのかを示すものなので、、、」
こう言った前情報を把握する能力もであることが分かる。
単に数字だけみていてもわからない。
テストで使用しない"T"を排除することも忘れずに行う。（この後にするのかな？）
##Ticket に着目
「発想を転換し、Ticketに重複カウントがないのかを調べてみます。」
ここがミソですね。
一見規則性の見えない情報から関連関連性を見出すことが重要。
「とりあえず重複ないか見てみよう」というスタンスを持ってみる。
「そこから生存率と関連ある？」という黄金パターンで見ていく流れをつくる。
前編は以上です。
前編を終えて
- 手を動かしながらは楽しいです。
- わからない関数も調べながら、値を変えて試しながら学べているので、一つひとつを「当事者」の目線で勉強できている。
- 参考書を買って「この関数いつ使うねん！」って思いながら勉強するよりも身についている気がする。
- mapとlambdaを使う場面でも実践で使えるコーディングを学べている。
成果物
Colaboratryのノート（titanic_EDA.ipynb）
https://colab.research.google.com/drive/1EUikceUGYfmkED5Pa3YFh9IAEr3fntjW
後編に続きます。