はじめに

今回は、「畳み込みニューラルネットワーク」を実装していきます。

ディープラーニングや畳み込みニューラルネットワークの基本については、下記の記事を参照してください。

🌟基本となるディープラーニングについて
https://qiita.com/hara_tatsu/items/c0e59b388823769f9704

🌟ディープラーニングの実装及び過学習対策
https://qiita.com/hara_tatsu/items/b7423e90574cf7730978

🌟「畳み込みニューラルネットワーク（CNN）まとめ」
https://qiita.com/hara_tatsu/items/8dcd0a339ad2f67932e7

畳み込みニューラルネットワークを実装する

今回は題材として、「【SIGNATE】画像ラベリング（10種類）」を使います。
https://signate.jp/competitions/133

画像データに映っているものを10種類のラベルから分類するものです。

データの前処理

必要なライブラリーをインポート

python.py

import numpy as np
import pandas as pd
from PIL import Image
import glob

目的変数と説明変数の処理

目的変数を読み込んでダミー変数へ変換

python.py

train_Y = pd.read_csv('train_master.tsv', delimiter='\t')
train_Y = train_Y.drop('file_name', axis=1)
# カテゴリー変数へ変換
from tensorflow.keras.utils import to_categorical
Y = to_categorical(train_Y)

print(Y.shape)
print(Y[:5])

(5000, 10)
array([[0., 1., 0., 0., 0., 0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0., 1., 0., 0., 0., 0.],
       [0., 1., 0., 0., 0., 0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0., 0., 1., 0., 0., 0.],
       [0., 0., 0., 1., 0., 0., 0., 0., 0., 0.]], dtype=float32)

説明変数（画像データ）は、「glob」を使って読み込めるが画像データの並びがバラバラに読み込まれてしまう。そのため、読み込み後に小さい数字の順番に並び替える。

python.py

train_file = glob.glob('train_images/t*')

# 0埋めでない数値を小さい順に並び替える関数
import re
from collections import OrderedDict

def sortedStringList(array=[]):
    sortDict=OrderedDict()
    for splitList in array:
        sortDict.update({splitList:[int(x) for x in re.split("(\d+)",splitList)if bool(re.match("\d*",x).group())]})
    return [sortObjKey for sortObjKey,sortObjValue in sorted(sortDict.items(), key=lambda x:x[1])]

# 小さい順に並び替え
sort_file = sortedStringList(train_file)
print(sort_file[:5])

['train_images/train_0.jpg',
 'train_images/train_1.jpg',
 'train_images/train_2.jpg',
 'train_images/train_3.jpg',
 'train_images/train_4.jpg']

説明変数（画像データ）の前処理

現在は、「glob」で画像データのファイル名を取得している状態。
PIL形式で読み込み後にnumpy化及び正規化をする。

※画像データは「0〜255」までの数値の集まり。そのため、全体を「255.0」で割ることで、「0〜1」までの数値の集まりに変換する。
（✅ディープラーニングは、データの数値の幅が大きいと学習がうまくいかない）

python.py

from tensorflow.keras.preprocessing.image import load_img, img_to_array, array_to_img

# まずは、１枚で試してみる

train = sort_file[0]
# 画像ファイルからPIL形式で読み込み
train = load_img(train)
# PIL形式からnumpy形式へ + 正規化
train = img_to_array(train) / 255.0
print(train.shape)

(96, 96, 3)

# 画像表示
plt.imshow(train)

全ての画像を一括で処理。

※※CPU環境では学習に時間がかかる場合があるため、「image = load_img(image, target_size = (32, 32)) 」とすれば画像サイズを小さくできるので計算時間が減る。（予測精度は悪くなる可能性あり）

python.py

X = []

for image in sort_file:
    # 画像ファイルのPIL形式で読み込み
    image = load_img(image) 
    #image = load_img(image, target_size = (32, 32)) 学習時間を短縮したい場合
    # PIL形式からnumpy形式へ　＋　正規化
    image = img_to_array(image) / 255.0
    # データをリストへ格納
    X.append(image)

# Xはリスト型のためnumpy型へ変換
X_np = np.array(X)
print(X_np.shape)
print(X_np.dtype)
print(X_np[0])

(5000, 96, 96, 3)
float32
[[[0.57254905 0.5529412  0.42745098]
  [0.5764706  0.5568628  0.43137255]
  [0.5803922  0.56078434 0.43529412]
  [0.6509804  0.627451   0.49411765]
  [0.64705884 0.62352943 0.49019608]
 ...
  [0.6431373  0.61960787 0.4862745 ]]

 [[0.57254905 0.5529412  0.42745098]
  [0.57254905 0.5529412  0.42745098]
  [0.5764706  0.5568628  0.43137255]
 ...
  [0.5568628  0.4862745  0.43137255]]]

学習用データ、検証用データ、テストデータへ分割

python.py

# データの分割
from sklearn.model_selection import train_test_split

X_train, X_test, Y_train, Y_test = train_test_split(X_np, Y, test_size=0.2, random_state=0)
X_train, X_valid, Y_train, Y_valid = train_test_split(X_train, Y_train, test_size=0.2, random_state=0)

# 形状を確認
print("Y_train=", Y_train.shape, ", X_train=", X_train.shape)
print("Y_valid=", Y_valid.shape, ", X_valid=", X_valid.shape)
print("Y_test=", Y_test.shape, ", X_test=", X_test.shape)

Y_train= (3200, 10) , X_train= (3200, 96, 96, 3)
Y_valid= (800, 10) , X_valid= (800, 96, 96, 3)
Y_test= (1000, 10) , X_test= (1000, 96, 96, 3)

畳み込みニューラルネットワークモデルの構築

最初は単純なモデルで精度を確認する。

python.py

from tensorflow import keras
from tensorflow.keras.layers import Dense, Activation, Conv2D, Flatten, MaxPooling2D

# モデルの初期化
model = keras.Sequential()

# 入力層and畳み込み層
model.add(Conv2D(32, # フィルター数
                 kernel_size= 3, # フィルターのサイズ(3×3)
                 input_shape=(96, 96, 3,), # 入力データ（画像）のサイズ
                 padding="same", #ゼロパディング（画像サイズを小さくしない）
                 activation="relu" #活性化関数
                ))

# プーリング層
model.add(MaxPooling2D())

# 1次元に変換
model.add(Flatten())

# 全結合層
model.add(Dense(128, activation="relu")) 

# 出力層
model.add(Dense(10, activation='softmax'))

# モデルの構築
model.compile(optimizer = "rmsprop", #誤差逆伝播
              loss='categorical_crossentropy', #損失関数
              metrics=['accuracy'] #訓練時に監視する指標
             )

# モデルの表示
model.summary()

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d_12 (Conv2D)           (None, 96, 96, 32)        896       
_________________________________________________________________
max_pooling2d_12 (MaxPooling (None, 48, 48, 32)        0         
_________________________________________________________________
flatten_8 (Flatten)          (None, 73728)             0         
_________________________________________________________________
dense_17 (Dense)             (None, 128)               9437312   
_________________________________________________________________
dense_18 (Dense)             (None, 10)                1290      
=================================================================
Total params: 9,439,498
Trainable params: 9,439,498
Non-trainable params: 0
_________________________________________________________________

python.py

# EarlyStopping用
from tensorflow.keras import regularizers

%%time
# 学習の実施
log = model.fit(X_train, Y_train, #学習用データ
                epochs=5000, #繰り返し計算する回数
                batch_size=64, #ミニバッチ勾配降下法で分割するデータのかたまり
                verbose=True, #計算過程を表示
                #過学習していると判断したら学習を止める
                callbacks=[keras.callbacks.EarlyStopping(monitor='val_loss',#監視する値
                                                         min_delta=0, #改善とみなされる最小の量
                                                         patience=30, #設定したエポック数改善がないと終了
                                                         verbose=1,
                                                         mode='auto' #監視する値が増減どうなったら終了か自動で推定
                                                        )],
                validation_data=(X_valid, Y_valid) #検証用データ
               )

結果の確認①

python.py

# テスト用データ(Y_test)をダミー変数から通常の数値へ復元
Y_test_ = np.argmax(Y_test, axis=1)

# モデルでの予測
Y_pred = model.predict_classes(X_test)

# モデルの評価
from sklearn.metrics import classification_report

print(classification_report(Y_test_, Y_pred))

precision    recall  f1-score   support

           0       0.63      0.80      0.70        93
           1       0.47      0.44      0.45       100
           2       0.72      0.66      0.69        99
           3       0.32      0.34      0.33       103
           4       0.46      0.50      0.48       117
           5       0.23      0.20      0.22        93
           6       0.46      0.52      0.49       101
           7       0.56      0.36      0.44       110
           8       0.62      0.68      0.65        88
           9       0.55      0.54      0.55        96

    accuracy                           0.50      1000
   macro avg       0.50      0.50      0.50      1000
weighted avg       0.50      0.50      0.50      1000

正解率５０%!!

python.py

acc = log.history['accuracy']
val_acc = log.history['val_accuracy']

loss = log.history['loss']
val_loss = log.history['val_loss']

epochs_range = range(37)

plt.figure(figsize=(8, 8))
plt.subplot(1, 2, 1)
plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Accuracy')

plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Loss')
plt.show()

予測精度は低く、早い段階で過学習をしている。

原因として考えられるのは、

✅学習用データが少ないこと。

そこで学習用データの拡張と水増しをしてみる。

学習用データの拡張と水増し

✅学習用データの拡張と水増しが必要な理由

・対象の物体が逆さまや斜めになったデータも学習させることで、応用力をつけさせるため（データの拡張）
・必要な量の学習データが準備できていない（データの水増し）

python.py

from tensorflow.keras.preprocessing.image import ImageDataGenerator

# 学習用データの拡張設定
image_gen = ImageDataGenerator(rotation_range=45, #45°回転
                               horizontal_flip = True, #左右反転
                              )  

# 拡張データの生成
train_data_gen = image_gen.flow(X_train, Y_train, batch_size = 32, shuffle = False)

# 拡張データを表示する関数
def plotImages(images_arr):
    fig, axes = plt.subplots(1, 5, figsize=(20,20))
    axes = axes.flatten()
    for img, ax in zip( images_arr, axes):
        ax.imshow(img)
        ax.axis('off')
    plt.tight_layout()
    plt.show()

augmented_images = [train_data_gen[0][0][0] for i in range(5)]
plotImages(augmented_images)

python.py

# 学習用データの状態確認
# 3200 / 32
print(len(train_data_gen))

100

print(type(train_data_gen))

tensorflow.python.keras.preprocessing.image.NumpyArrayIterator

検証用データを学習用データの状態に合わせる

python.py

valid_gen = ImageDataGenerator()
valid_data_gen = valid_gen.flow(X_valid, Y_valid, batch_size = 32)
# 800 / 32
print(len(valid_data_gen))

25

print(type(valid_data_gen))

tensorflow.python.keras.preprocessing.image.NumpyArrayIterator

学習用データを拡張して学習

python.py

%%time
# 学習の実施
log = model.fit_generator(train_data_gen, #学習用データ
                          steps_per_epoch = 100,
                          epochs = 5000, #繰り返し計算する回数
                          callbacks = [keras.callbacks.EarlyStopping(monitor='val_loss',#監視する値
                                       min_delta=0, #改善とみなされる最小の量
                                       patience=30, #設定したエポック数改善がないと終了
                                       verbose=1,
                                       mode='auto' #監視する値が増減どうなったら終了か自動で推定
                                       )],
                          validation_data = valid_data_gen, #検証用データ
                          validation_steps = 25)

結果の確認②

python.py

# 予測
Y_pred = model.predict_classes(X_test)

# モデルの評価
print(classification_report(Y_test_, Y_pred))

precision    recall  f1-score   support

           0       0.62      0.86      0.72        93
           1       0.38      0.70      0.49       100
           2       0.70      0.79      0.74        99
           3       0.47      0.19      0.27       103
           4       0.74      0.37      0.49       117
           5       0.39      0.39      0.39        93
           6       0.51      0.56      0.54       101
           7       0.49      0.54      0.51       110
           8       0.72      0.66      0.69        88
           9       0.61      0.43      0.50        96

    accuracy                           0.54      1000
   macro avg       0.56      0.55      0.53      1000
weighted avg       0.56      0.54      0.53      1000

正解率５４%!!

python.py

acc = log.history['accuracy']
val_acc = log.history['val_accuracy']

loss = log.history['loss']
val_loss = log.history['val_loss']

epochs_range = range(69)

plt.figure(figsize=(8, 8))
plt.subplot(1, 2, 1)
plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Accuracy')

plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Loss')
plt.show()

正解率は上昇したもの、まだまだ過学習しています。
最後に、過学習対策を施したモデルを構築します。

過学習対策をしたモデルを構築

python.py

from tensorflow.keras.layers import Dropout

# モデルの初期化
model = keras.Sequential()

# 入力層
model.add(Conv2D(
    32, kernel_size=3,
    input_shape=(96, 96, 3,),
    padding="same",
    activation="relu",
    ))
# プーリング層
model.add(MaxPooling2D())
model.add(Dropout(0.25))

# 層のユニットの繰り返し
model.add(Conv2D(64, kernel_size=3, padding="same", activation="relu"))
model.add(MaxPooling2D())
model.add(Dropout(0.25))

# 1次元に変換
model.add(Flatten())
model.add(Dense(128, activation="relu")) 
model.add(Dense(64, activation="relu")) 
model.add(Dropout(0.5))

# 出力層
model.add(Dense(10, activation='softmax'))

# モデルの構築
model.compile(optimizer = "rmsprop", loss='categorical_crossentropy', metrics=['accuracy'])

model.summary()

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d_4 (Conv2D)            (None, 96, 96, 32)        896       
_________________________________________________________________
max_pooling2d_4 (MaxPooling2 (None, 48, 48, 32)        0         
_________________________________________________________________
dropout_3 (Dropout)          (None, 48, 48, 32)        0         
_________________________________________________________________
conv2d_5 (Conv2D)            (None, 48, 48, 64)        18496     
_________________________________________________________________
max_pooling2d_5 (MaxPooling2 (None, 24, 24, 64)        0         
_________________________________________________________________
dropout_4 (Dropout)          (None, 24, 24, 64)        0         
_________________________________________________________________
flatten_3 (Flatten)          (None, 36864)             0         
_________________________________________________________________
dense_7 (Dense)              (None, 128)               4718720   
_________________________________________________________________
dense_8 (Dense)              (None, 64)                8256      
_________________________________________________________________
dropout_5 (Dropout)          (None, 64)                0         
_________________________________________________________________
dense_9 (Dense)              (None, 10)                650       
=================================================================
Total params: 4,747,018
Trainable params: 4,747,018
Non-trainable params: 0
_________________________________________________________________

python.py

%%time
# 学習の実施
log = model.fit_generator(train_data_gen, #学習用データ
                          steps_per_epoch = 100,
                          epochs = 5000, #繰り返し計算する回数
                          callbacks = [keras.callbacks.EarlyStopping(monitor='val_loss',#監視する値
                                       min_delta=0, #改善とみなされる最小の量
                                       patience=30, #設定したエポック数改善がないと終了
                                       verbose=1,
                                       mode='auto' #監視する値が増減どうなったら終了か自動で推定
                                       )],
                          validation_data = valid_data_gen, #検証用データ
                          validation_steps = 25)

結果の確認③

python.py

# 予測
Y_pred = model.predict_classes(X_test)


# モデルの評価
print(classification_report(Y_test_, Y_pred))

precision    recall  f1-score   support

           0       0.73      0.77      0.75        93
           1       0.45      0.59      0.51       100
           2       0.87      0.63      0.73        99
           3       0.49      0.42      0.45       103
           4       0.57      0.59      0.58       117
           5       0.38      0.23      0.28        93
           6       0.54      0.75      0.63       101
           7       0.64      0.42      0.51       110
           8       0.69      0.76      0.72        88
           9       0.56      0.73      0.63        96

    accuracy                           0.58      1000
   macro avg       0.59      0.59      0.58      1000
weighted avg       0.59      0.58      0.58      1000

正解率５８%!!

python.py

acc = log.history['accuracy']
val_acc = log.history['val_accuracy']

loss = log.history['loss']
val_loss = log.history['val_loss']

epochs_range = range(69)

plt.figure(figsize=(8, 8))
plt.subplot(1, 2, 1)
plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Accuracy')

plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Loss')
plt.show()

おわりに

正解率はあまり向上しなかったが、いい感じに学習が進んでいるグラフになっている。

さらなる精度向上を目指すなら、
・モデルの構築をより複雑にする
・転移学習
・学習用データをもっと集める