Kaggleデータ分析の手法について整理。
※以下は
Youtube動画 「Kaggle入門「タイタニックの生存予測」メダリストと一緒に解説！」を
実際に演習をしながら進め、個人の理解でまとめたものです。
→ https://www.youtube.com/watch?v=-QuM_QAC748
（とてもわかりやすかったです）
最初に全体像
１．訓練用データ分割（学習・テスト）
２．予測モデル決定
３．モデルインスタンスへの訓練用学習データのfit
４．訓練用テストデータでの予測スコア確認
５．課題用データで変数データセットを準備
６．特徴量のうちカテゴライズ値を展開
７．予測結果submitとして、課題用データからレコードを一意に定める項目を拾ってくる
８．予測結果submitに予測項目列を作成し、
訓練データをfitさせた機械学習モデルインスタンスへ
課題用データを引数として与えた予測結果を対応付ける。
９．予測結果submitをCSVデータへ変換
１０．Kaggleへの提出
ファイルの準備、作業ディレクトリへの移動
１．個人のアカウント配下のGoogleドライブの一部をマウントし、
ipynb（ノートブックファイル）へ接続する。
２．cdコマンドで、接続したGoogleドライブ内の
テストデータ格納先ディレクトリへ移動する
Notebookへのデータインポート
１．pandasインポート
import pandas as pd
２．訓練データをpandasでreadする
train = pd.read_csv('data/train.csv')
３．課題データをpandasでreadする
test = pd.read_csv('data/test.csv')
対象データの概要確認
※以下は訓練データtrainを対象に確認した場合。
１．保持データ件数を確認 ★
train.count()
２．保持項目のデータタイプを確認 ★
train.dtypes
３．Null値の含まれているデータ件数を項目ごとに表示確認 ★
train.isnull().sum()
４．保持データサンプルとして先頭格納データを確認
train.head()
※以下は課題データtestを対象に確認した場合。
１．保持データ件数を確認 ★
test.count()
２．保持項目のデータタイプを確認 ★
test.dtypes
３．Null値の含まれているデータ件数を項目ごとに表示確認 ★
test.isnull().sum()
４．保持データサンプルとして冒頭格納データを確認
test.head()
★…どんなデータを取り扱うにしても、非常に重要。
訓練データと課題データでの相違を整理しておく
（例）
・データ件数の差
・項目数の差
・項目ごとにデータタイプが一致していること
・Nullを含む項目は訓練用・課題用それぞれでどれか
・課題データ側で明らかにしたいその目的は何か
・訓練データはどのモデルに基づいて機械学習を行うべきか
（これは追々…）
訓練用データに対し、事前準備をする
１．訓練用データ内で予測モデル関数における独立変数となる定義域ｘと
それらに対応する値域yを定義する。※
x = train[['Pclass', 'SibSp', 'Parch']]
y = train[['Survived']]
※訓練データの集合Sにおいてｘ∈S、ｙ∈Sのとし
ｘからｙへの写像（モデル）を考えるとき、
ｘ（変数）にどの要素を定めるか？
ｙ（予測値）にどの要素を定めるか？
ということ。
２．（訓練用データの中で）学習データとテストデータに分割する
（sklearn.model_selection から train_test_split をimport利用）
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=0)
訓練データと課題データを適用する機械学習モデルを選択する
①ｋ−最近傍法
：データをプロットした際、対象データを
半径ｋ内に存在する分類済データが最も多く属するカテゴリと
同パターンになると判断していく手法
from sklearn.neighbors import KNeighborsClassifier
②ロジスティック回帰
③サポートベクタマシン（超平面）
from sklearn.svm import LinearSVC
④決定木
⑤ランダムフォレスト（多数の決定木による多数決）
from sklearn.ensemble import RandomForestClassifier
⑥勾配ブースティング回帰木
from sklearn.ensemble import GradientBoostingClassifier
︙
選択したモデルへ訓練用の学習データを適用後、訓練用のテストデータでスコア確認
１．モデルをパッケージからインポートする
２．モデルインスタンスを生成する
３．訓練データからSplitした学習用データｘ，ｙをモデルインスタンスにFitさせる
４．モデルインスタンスのScoreを訓練データからSplitしたテストデータで確認する
５．スコアが低い場合、１に戻る
★ｋ−最近傍法の場合
１．モデルをパッケージからインポートする
from sklearn.neighbors import KNeighborsClassifier
２．モデルインスタンスを生成する
knn = KNeighborsClassifier()
３．訓練データからSplitした学習用データｘ，ｙをモデルインスタンスにFitさせる
knn.fit(x_train, y_train)
４．モデルインスタンスのScoreを訓練データからSplitしたテストデータで確認する
knn.score(x_test, y_test)
訓練済の機械学習モデルに課題用のデータを与え予測させる
１．課題用データ（test）を用いて訓練用（train）と同様に
予測モデル関数における独立変数を定める
x_for_submit = test[['Pclass', 'SibSp', 'Parch']]
２．予測結果submitとして予測結果の項目を定義するが、
まず課題用データの対象レコードと一意に対応するように
項目PassengerIDを採用する
submit = test[[‘PassengerId’]]
３．予測結果submitに項目列Survivedを作成し、
訓練データをfitさせた機械学習モデルインスタンスへ
課題用データを引数として与えた予測結果を対応付ける。
submit[’Survived’] = knn.predict(x_for_submit)
４．予測結果をCSVデータに変換し取得する
submit.to_csv('submission/submit01.csv', index=False)
※Kaggle上の提出時に不要なため、出力結果にindexは付けない
５．Kaggleで提出
全体像（再掲）
１．訓練用データ分割（学習・テスト）
２．予測モデル決定
３．モデルインスタンスへの訓練用学習データのfit
４．訓練用テストデータでの予測スコア確認
５．課題用データで変数データセットを準備
６．特徴量のうちカテゴライズ値を展開 ★後述
７．予測結果submitとして、課題用データからレコードを一意に定める項目を拾ってくる
８．予測結果submitに予測項目列を作成し、
訓練データをfitさせた機械学習モデルインスタンスへ
課題用データを引数として与えた予測結果を対応付ける。
９．予測結果submitをCSVデータへ変換
１０．Kaggleへの提出
精度を高める
ほかに有用な特徴量はないか？を検討する
例：性別（Sex：male/female）を採用するとき
１．訓練用データから、機械学習モデルに投入する変数項目として追加する
x = train[['Pclass', 'SibSp', 'Parch', 'Sex']]
y = train[['Survived']]
カテゴライズに用いる値を持つ項目列は、該当・非該当状態を表す項目列へと展開する
※特徴量が数値ではないため、Sexの内容を0/1のデータに展開する。
0/1の「該当・非該当」データへ変換するには、pandasのget_dummies関数を用いる。
※なおここでPclass（Ticket class）もカテゴライズされた値
（1 = 1st, 2 = 2nd, 3 = 3rd）なので、get_dummiesの対象列に含めることで
Sex同様に各値の該当非該当状態への展開の対象とする。
x = pd.get_dummies(x, columns=['Pclass', 'Sex'])
→ One-Hot encoding
前述と同様の手順を踏み、訓練・予測を行う
１．訓練用データ分割（学習・テスト）
２．予測モデル決定
３．モデルインスタンスへの訓練用学習データのfit
４．訓練用テストデータでの予測スコア確認
５．課題用データで変数データセットを準備
６．特徴量のうちカテゴライズ値を展開 ★ここを行った
７．予測結果submitとして、課題用データからレコードを一意に定める項目を拾ってくる
８．予測結果submitに予測項目列を作成し、
訓練データをfitさせた機械学習モデルインスタンスへ
課題用データを引数として与えた予測結果を対応付ける。
９．予測結果submitをCSVデータへ変換
１０．Kaggleへの提出
データ分割後に正規分布変換処理を挟み、精度を上げる
１．インポート
from sklearn.preprocessing import StandardScaler
２．StandardScalerインスタンスを生成
scaler = StandardScaler()
３．訓練データによるfitting
scaler.fit(x_train)
４．訓練データを正規分布変換
x_train_scaled = scaler.transform(x_train)
５．テストデータを正規分布変換
x_test_scaled = scaler.transform(x_test)
欠損値を持つ項目列はNULL埋めを行う（平均値で埋める）
１．欠損値を持つFareに対してNULL埋めを行っておく（平均値で埋める）
x_for_submit['Fare'] = x_for_submit['Fare'].fillna(x_for_submit['Fare'].mean())
他の機械学習モデルを用いる
１．訓練用データ分割（学習・テスト） ★正規分布変換したり
２．予測モデル決定 ★ここね
３．モデルインスタンスへの訓練用学習データのfit
４．訓練用テストデータでの予測スコア確認
５．課題用データで変数データセットを準備 ★欠損値埋めたり
６．特徴量のうちカテゴライズ値を展開 ★展開したり
７．予測結果submitとして、課題用データからレコードを一意に定める項目を拾ってくる
８．予測結果submitに予測項目列を作成し、
訓練データをfitさせた機械学習モデルインスタンスへ
課題用データを引数として与えた予測結果を対応付ける。
９．予測結果submitをCSVデータへ変換
１０．Kaggleへの提出
以上。
動画（再掲）
「Kaggle入門「タイタニックの生存予測」メダリストと一緒に解説！」
→ https://www.youtube.com/watch?v=-QuM_QAC748