はじめに

Kaggle初心者（natsuozawa）です。Kaggle Expertを目指して勉強しています。この講座をKaggle初心者ガイドで見つけ、面白そうだったので受けてみました。

読み返す価値のありそうな内容を集約しました。

EDA (Exploratory Data Analysis)

データを理解するためにデータを分析する。

ポイント： データを理解せずにモデルを組んでも、トップのスコアはたたき出せない。

plt.hist(x)

ポイント：異なる便個数・幅を使用したものを複数作って、データのパターンを入念に確認する

plt.plot(x, '.')

ポイント：水平にパターンが見られるのはOKだが、縦方向にパターンがある場合データがシャッフルされていない。

なお、二つの特微量の関係を可視化することも良い。

plt.scatter(x1, x2, c=y)

ポイント：色を使いわける

df.describe()

df.corr()
plt.matshow(...)

相関する特微量をまとめてグループを見つける。特微量のグループはデータ生成に使える！

例：平均でまとめる

x.value_counts()
x.isnull()
x.nunique()

ポイント：train/validationの分け方はtrain/testの分け方に似せる

ポイント：訓練で使ったデータを絶対に検証で再利用しない

KFoldを何回も行い平均する、モデルチューニングと評価に別々の分割を使う