はじめに
機械学習の入門として、kaggleのTitanicに挑戦してみました。
このコンペは、1912年に起きたタイタニック号沈没事件について、乗客の年齢や性別などから、生死を予測する分類問題です。
今回の分析に使った、コードはTitanicコードに載せています。
データの概要
データ数
まずは、train、testのデータ数をそれぞれ確認します。
# trainデータ
print(train.shape)
# testデータ
print(test.shape)
(891, 12)
(418, 11)
trainデータはtestデータの約２倍のデータ数があり、説明変数は11個あるということがわかりました。
次に、説明変数について見ていきたいと思います。
変数確認
# 全変数を確認
train.columns
Index(['PassengerId', 'Survived', 'Pclass', 'Name', 'Sex', 'Age', 'SibSp',
'Parch', 'Ticket', 'Fare', 'Cabin', 'Embarked'],
dtype='object')
全変数を出力してみました。それぞれについて、コンペサイトの説明を見ると以下のようになっています。
| 変数名 | 説明 | |
|---|---|---|
| 1 | PassengerId | 乗客ID |
| 2 | Pclass | チケットのクラス |
| 3 | Name | 名前 |
| 4 | Sex | 性別 |
| 5 | Age | 年齢 |
| 6 | SibSp | 一緒に乗船している兄弟・夫婦の数 |
| 7 | Parch | 一緒に乗船している子供・親の数 |
| 8 | Ticket | チケット番号 |
| 9 | Fare | 乗船料金 |
| 10 | Cabin | 客室 |
| 11 | Embarked | 乗船した港（C:Cherbourg, Q:Queenstown, S:Southampton） |
| 12 | Survived | 生死（目的変数） |
欠損値の確認
# trainデータの欠損値
train.isnull().sum()[train.isnull().sum()>0]
Age 177
Cabin 687
Embarked 2
dtype: int64
# testデータの欠損値
test.isnull().sum()[test.isnull().sum()>0]
Age 86
Fare 1
Cabin 327
dtype: int64
目的変数の分布
学習データでは、死者が生存者の約1.5倍近くいます。
したがって、生存者をいかにして見つけるかという事が分析の鍵となるでしょう。
## 説明変数ごとの分布
性別（Sex）
男女別に、目的変数との関係を可視化しました。
女性の方が男性よりも生存率が高いという事が分かります。
男女で、ダミー変数化した方が良さそうです。
年齢(Age)
年齢をビン分けし、目的変数との関係を可視化しました。
0~10歳までは生存率が高いのに対し、70歳以上では大きく生存率が低下しています。
0~10, 10~70, 70~100でマッピングした方が良さそうです。
家族（family）
'SibSp'と'Parch'という変数は、合わせられるとkanngae,'family'という変数を作成しました。
単独で乗った人の生存率は低いようです。
チケットのクラス(Pclass)
チケットのクラスと目的変数との関係を可視化しました。
クラスの低い３のチケットを持つ人は、生存率が低いようです。
クラス１、２とクラス３でマッピングした方が良さそうです。
前処理
データの可視化を元に、前処理を行いました。
# 'Sex'をマッピング
sex_mapping = {'male':0, 'female':1}
train['Sex'] = train['Sex'].map(sex_mapping)
test['Sex'] = test['Sex'].map(sex_mapping)
# 'Age'の欠損値を平均値補完
train['Age'] = train['Age'].fillna(train['Age'].mean())
test['Age'] = test['Age'].fillna(test['Age'].mean())
def age(x):
if x < 10:
x = 0
elif x < 20:
x = 1
elif x < 30:
x = 1
elif x < 40:
x = 1
elif x < 50:
x = 1
elif x < 60:
x = 1
else:
x = 2
return x
train['Age'] = train['Age'].apply(age)
test['Age'] = test['Age'].apply(age)
# 'family'という特徴量を新たに作成
train['family'] = train['SibSp'] + train['Parch']
test['family'] = test['SibSp'] + test['Parch']
# 'Pclass'をマッピング
def pclass(x):
if x <=2:
x = 0
else:
x = 1
return x
train['Pclass'] = train['Pclass'].apply(pclass)
test['Pclass'] = test['Pclass'].apply(pclass)
test['Fare'] = test['Fare'].fillna(test['Fare'].mean())
データの取り出し・標準化・グリッドサーチ・学習
特徴量は4つ使って標準化を行いました。
# X, yにデータを代入
X = train.loc[:, ['Sex', 'Age', 'family', 'Pclass']].values
y = train.loc[:, ['Survived']].values.reshape(-1)
# データの標準化
scaler = StandardScaler()
X_std = scaler.fit_transform(X)
また、SVMを用いて、最も良いパラメータの組み合わせをグリッドサーチで探します。
# データの分割方法を指定（層化）
kf = StratifiedKFold(n_splits=5, shuffle=True, random_state=0)
# 調整したいパラメータを指定
param_grid = {'C': [0.1, 1.0, 10, 100, 1000, 10000],
'gamma': [0.001, 0.01, 0.1, 1, 10]}
# GridSearchCVのインスタンスを生成
from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC
# モデルのインスタンス, 試したいパラメータの値, 分割方法
gs_svc = GridSearchCV(SVC(), param_grid, cv=kf)
# 学習
gs_svc.fit(X_std, y)
結果・まとめ・反省
学習モデルを使って予測したところ、3346/9755位という結果でした。
少ない変数の割にはある程度の精度が出せたと思います。
しかし、他の特徴量を追加したり、学習モデルで他のアルゴリズムを使うなど、改善点も多くあります。
近日中に、もう一度チャレンジして見たいです。