#コンペティションの概要
このコンペティションでは、7049枚の顔画像データそれぞれに対して、顔を特徴付ける15の部分のx, y座標がトレーニングデータとして与えられています。(例：左目の中心のx座標、右目の中心のy座標など)
そのデータを学習し、テストセットの画像に対して顔を特徴付ける部分の座標を与えるというものです。
早速始めていきます。
実行コード
import pandas as pd
import numpy as np
import zipfile
import tensorflow as tf
#与えられているデータ
###トレーニングデータ
zipファイルを解凍し、開きます。
実行コード
with zipfile.ZipFile('training.zip') as existing_zip:
with existing_zip.open('training.csv') as traincsv:
train=pd.read_csv(traincsv)
train
| left_eye_center_x | left_eye_center_y | right_eye_center_x | right_eye_center_y | ... | mouth_center_top_lip_y | mouth_center_bottom_lip_x | mouth_center_bottom_lip_y | Image | |
|---|---|---|---|---|---|---|---|---|---|
| 0 | 6.033564 | 39.002274 | 30.227008 | 36.421678 | ... | 72.935459 | 43.130707 | 84.485774 | 238 236 237 238 240 240 239 241 241 243 240 23... |
| 1 | 64.332936 | 34.970077 | 29.949277 | 33.448715 | ... | 70.266553 | 45.467915 | 85.480170 | 219 215 204 196 204 211 212 200 180 168 178 19... |
| ... | ... | ... | ... | ... | ... | ... | ... | ... | ... |
| 7047 | 70.965082 | 39.853666 | 30.543285 | 40.772339 | ... | NaN | 50.065186 | 79.586447 | 254 254 254 254 254 238 193 145 121 118 119 10... |
| 7048 | 66.938311 | 43.424510 | 31.096059 | 39.528604 | ... | NaN | 45.900480 | 82.773096 | 53 62 67 76 86 91 97 105 105 106 107 108 112 1... |
7049×31のデータです。
データの最終列は画像データで、それ以外は顔のある部分を示すx, y座標となっています。
また、欠損値もあるようです。どのくらいあるのでしょうか。
実行コード
train.isnull().sum()
output
left_eye_center_x 10
left_eye_center_y 10
right_eye_center_x 13
right_eye_center_y 13
left_eye_inner_corner_x 4778
left_eye_inner_corner_y 4778
left_eye_outer_corner_x 4782
left_eye_outer_corner_y 4782
right_eye_inner_corner_x 4781
right_eye_inner_corner_y 4781
right_eye_outer_corner_x 4781
right_eye_outer_corner_y 4781
left_eyebrow_inner_end_x 4779
left_eyebrow_inner_end_y 4779
left_eyebrow_outer_end_x 4824
left_eyebrow_outer_end_y 4824
right_eyebrow_inner_end_x 4779
right_eyebrow_inner_end_y 4779
right_eyebrow_outer_end_x 4813
right_eyebrow_outer_end_y 4813
nose_tip_x 0
nose_tip_y 0
mouth_left_corner_x 4780
mouth_left_corner_y 4780
mouth_right_corner_x 4779
mouth_right_corner_y 4779
mouth_center_top_lip_x 4774
mouth_center_top_lip_y 4774
mouth_center_bottom_lip_x 33
mouth_center_bottom_lip_y 33
Image 0
めちゃくちゃありますね…。
###テストデータ
こちらもzipファイルを解凍し、開きます。
実行コード
with zipfile.ZipFile('test.zip') as existing_zip:
with existing_zip.open('test.csv') as testcsv:
test=pd.read_csv(testcsv)
test
| ImageId | Image | |
|---|---|---|
| 0 | 1 | 182 183 182 182 180 180 176 169 156 137 124 10... |
| 1 | 2 | 76 87 81 72 65 59 64 76 69 42 31 38 49 58 58 4... |
| 2 | 3 | 177 176 174 170 169 169 168 166 166 166 161 14... |
| 3 | 4 | 176 174 174 175 174 174 176 176 175 171 165 15... |
| ... | ... | ... |
| 1780 | 1781 | 28 28 29 30 31 32 33 34 39 44 46 46 49 54 61 7... |
| 1781 | 1782 | 104 95 71 57 46 52 65 70 70 67 76 72 69 69 72 ... |
| 1782 | 1783 | 63 61 64 66 66 64 65 70 69 70 77 83 63 34 22 2... |
| こちらは、1783枚の画像データになっています。 |
###提出するファイルの形式
他に二つのCSVファイルが与えられていますが、こちらでは提出するファイルの形式が示されています。
実行コード
df=pd.read_csv("IdLookupTable.csv")
sample=pd.read_csv("SampleSubmission.csv")
実行コード
df
| RowId | ImageId | FeatureName | Location | |
|---|---|---|---|---|
| 0 | 1 | 1 | left_eye_center_x | NaN |
| 1 | 2 | 1 | left_eye_center_y | NaN |
| 2 | 3 | 1 | right_eye_center_x | NaN |
| 3 | 4 | 1 | right_eye_center_y | NaN |
| 4 | 5 | 1 | left_eye_inner_corner_x | NaN |
| ... | ... | ... | ... | ... |
| 27119 | 27120 | 1783 | right_eye_center_y | NaN |
| 27120 | 27121 | 1783 | nose_tip_x | NaN |
| 27121 | 27122 | 1783 | nose_tip_y | NaN |
| 27122 | 27123 | 1783 | mouth_center_bottom_lip_x | NaN |
| 27123 | 27124 | 1783 | mouth_center_bottom_lip_y | NaN |
IdLookupTable.csvは、1783枚の画像それぞれに対して提示して欲しい座標を示しています。
このコンペの厄介なところは、トレーニングデータでは30個の顔の部分の座標が与えられていますが、テストデータの画像に対しては必ずしもその全ての座標を予測する必要はないというところです。
具体的に、提出ファイルに含まれる各座標の個数を確認します。
実行コード
df["FeatureName"].value_counts()
output
nose_tip_y 1783
nose_tip_x 1783
left_eye_center_x 1782
right_eye_center_y 1782
left_eye_center_y 1782
right_eye_center_x 1782
mouth_center_bottom_lip_x 1778
mouth_center_bottom_lip_y 1778
mouth_left_corner_x 590
mouth_center_top_lip_y 590
mouth_left_corner_y 590
mouth_center_top_lip_x 590
left_eye_outer_corner_x 589
left_eye_outer_corner_y 589
right_eye_inner_corner_y 589
right_eye_inner_corner_x 589
left_eye_inner_corner_y 588
right_eye_outer_corner_x 588
right_eye_outer_corner_y 588
left_eye_inner_corner_x 588
mouth_right_corner_x 587
mouth_right_corner_y 587
left_eyebrow_inner_end_x 585
right_eyebrow_inner_end_x 585
left_eyebrow_inner_end_y 585
right_eyebrow_inner_end_y 585
left_eyebrow_outer_end_x 574
left_eyebrow_outer_end_y 574
right_eyebrow_outer_end_x 572
right_eyebrow_outer_end_y 572
このように、求められている座標は不規則にばらついています。
次に、提出ファイルのサンプルです。
実行コード
sample
| RowId | Location | |
|---|---|---|
| 0 | 1 | 0 |
| 1 | 2 | 0 |
| 2 | 3 | 0 |
| 3 | 4 | 0 |
| 4 | 5 | 0 |
| ... | ... | ... |
| 27119 | 27120 | 0 |
| 27120 | 27121 | 0 |
| 27121 | 27122 | 0 |
| 27122 | 27123 | 0 |
| 27123 | 27124 | 0 |
| 提出するデータはシンプルに行番号と27124個の座標の値のみです。 |
#学習データの成形
言わずもがな、コンペのメインパートです。
まず、train.csv、test.csvから画像データのみを抽出し、numpy配列にしていきます。
抽出した画像データをnumpy配列にしていくときは、空の配列を用意し、一つずつ代入していくやり方をオススメします。
実行コード
x_train=np.empty((7049,96,96,1))
x_test=np.empty((1783,96,96,1))
実行コード
for i in range(7049):
train0=train["Image"][i].split(" ") #i番目の画像配列をスペース区切りで抽出
train1=[int(x) for x in train0] #それぞれをint型に直してリストへ格納
train2=np.array(train1,dtype="float") #リストをnumpy配列へ変換
train3=train2.reshape(96,96,1) #配列を96×96×1へ成形
x_train[i]=train3 #空のnumpy配列のi番目の要素として代入
for i in range(1783):
test0=test["Image"][i].split(" ")
test1=[int(x) for x in test0]
test2=np.array(test1,dtype="float")
test3=test2.reshape(96,96,1)
x_test[i]=test3
実行コード
x_train =x_train / 255
x_test = x_test /255
train.csvからImageの列を削除したものをy_trainとします。
実行コード
y_train=train.drop(['Image'],axis=1)
先ほど見た欠損値を処理します。
とりあえず、前の行の値で補完するffillを適用させます。
実行コード
y_train.fillna(method = 'ffill',inplace = True)
今一度欠損値を確認します。
実行コード
y_train.isnull().sum()
output
left_eye_center_x 0
left_eye_center_y 0
right_eye_center_x 0
right_eye_center_y 0
left_eye_inner_corner_x 0
left_eye_inner_corner_y 0
left_eye_outer_corner_x 0
left_eye_outer_corner_y 0
right_eye_inner_corner_x 0
right_eye_inner_corner_y 0
right_eye_outer_corner_x 0
right_eye_outer_corner_y 0
left_eyebrow_inner_end_x 0
left_eyebrow_inner_end_y 0
left_eyebrow_outer_end_x 0
left_eyebrow_outer_end_y 0
right_eyebrow_inner_end_x 0
right_eyebrow_inner_end_y 0
right_eyebrow_outer_end_x 0
right_eyebrow_outer_end_y 0
nose_tip_x 0
nose_tip_y 0
mouth_left_corner_x 0
mouth_left_corner_y 0
mouth_right_corner_x 0
mouth_right_corner_y 0
mouth_center_top_lip_x 0
mouth_center_top_lip_y 0
mouth_center_bottom_lip_x 0
mouth_center_bottom_lip_y 0
Image 0
欠損値がなくなったことが確認できました。
最後に、データを標準化します。
実行コード
for columns in train_y.columns:
mean.append(train_y[columns].mean())
std.append(train_y[columns].std())
train_y[columns] = (train_y[columns] - train_y[columns].mean()) / train_y[columns].std()
#学習
モデルを構築します。
実行コード
model=tf.keras.models.Sequential([
tf.keras.layers.Conv2D(6,(3,3), activation = 'relu', input_shape=(96,96,1)),
tf.keras.layers.MaxPooling2D(2,2),
tf.keras.layers.Conv2D(12,(3,3), activation = 'relu'),
tf.keras.layers.MaxPooling2D(2,2),
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(512, activation = 'relu'),
tf.keras.layers.Dense(30,activation='relu')
])
model.summary()
output
Model: "sequential_1"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
conv2d_2 (Conv2D) (None, 94, 94, 6) 60
_________________________________________________________________
max_pooling2d_2 (MaxPooling2 (None, 47, 47, 6) 0
_________________________________________________________________
conv2d_3 (Conv2D) (None, 45, 45, 12) 660
_________________________________________________________________
max_pooling2d_3 (MaxPooling2 (None, 22, 22, 12) 0
_________________________________________________________________
flatten_1 (Flatten) (None, 5808) 0
_________________________________________________________________
dense_2 (Dense) (None, 512) 2974208
_________________________________________________________________
dense_3 (Dense) (None, 30) 15390
=================================================================
Total params: 2,990,318
Trainable params: 2,990,318
Non-trainable params: 0
_________________________________________________________________
実行コード
model.compile(optimizer='adam', loss='mean_squared_error', metrics=['accuracy'])
学習させます。
実行コード
model.fit(x_train, y_train, epochs = 10)
output
Train on 7049 samples
Epoch 1/10
7049/7049 [==============================] - 20s 3ms/sample - loss: 470.8903 - accuracy: 0.5540
Epoch 2/10
7049/7049 [==============================] - 19s 3ms/sample - loss: 283.7981 - accuracy: 0.6073
Epoch 3/10
7049/7049 [==============================] - 20s 3ms/sample - loss: 152.0215 - accuracy: 0.6493
Epoch 4/10
7049/7049 [==============================] - 20s 3ms/sample - loss: 151.0923 - accuracy: 0.6866
Epoch 5/10
7049/7049 [==============================] - 19s 3ms/sample - loss: 150.6215 - accuracy: 0.7188
Epoch 6/10
7049/7049 [==============================] - 20s 3ms/sample - loss: 149.9657 - accuracy: 0.7289
Epoch 7/10
7049/7049 [==============================] - 20s 3ms/sample - loss: 149.8715 - accuracy: 0.7371
Epoch 8/10
7049/7049 [==============================] - 19s 3ms/sample - loss: 149.7018 - accuracy: 0.7424
Epoch 9/10
7049/7049 [==============================] - 20s 3ms/sample - loss: 149.4364 - accuracy: 0.7451
Epoch 10/10
7049/7049 [==============================] - 19s 3ms/sample - loss: 149.3164 - accuracy: 0.7510
テストモデルに対して予測させます。
実行コード
pred = model.predict(x_test)
#提出ファイルの作成
ここから少し面倒なのですが、前述のIdLookupTable.csvを参照し、各画像に対して求められている座標を抜き出してこなければなりません。
当然ですが、pred は1783枚の画像にそれぞれに対し、15の特徴のx、y座標の予測で構成されています。(1783×30)
アプローチとしては、
- IdLookupTable.csvから、各画像に対して抽出する特徴を取得
- 次にその特徴をそれぞれ0~29のインデックスでエンコーディング
- 画像IDと特徴インデックスの組み合わせに対応する値をpredから抽出
という流れです。
実行コード
#1. IdLookupTable.csvからImageIdと特徴名を抽出します。
lookid_list = list(df['FeatureName'])
imageID = list(df['ImageId']-1)
pre_list = list(pred)
実行コード
#2. 特徴名を0~29のインデックスにエンコーディングしてリストへ格納します。
feature = []
for f in looked_list:
feature.append(lookid_list.index(f))
実行コード
#3. 画像IDと特徴名インデックスの組み合わせに対応するものを予測結果から抽出します。
#その際、標準化と逆の変換を行うことで求める値にします。
preded = []
for x,y in zip(imageID,feature):
preded.append(pre_list[x][y] * std[y] + mean[y])
最後に、提出ファイルを作成します。
実行コード
rowid = pd.Series(df['RowId'],name = 'RowId')
loc = pd.Series(preded,name = 'Location')
実行コード
submission = pd.concat([rowid,loc],axis = 1)
#まとめ
以上です。これでスコアは3.8くらいになります。
画像にAugumentationを適用させたり、モデルを改善させたりすれば全然スコアは上がりそうです。取り組み次第また投稿したいと思います。
間違いなどございましたらご指摘いただければ幸いです。
ありがとうございました。