素人がAI部門に配属されてやること２ヶ月目(自作データセット、opencv、callback)

はじめに

前回の記事では、python(anaconda)のインストールとmnistでCNNを動かすというのをやりました。
　それでは２ヶ月目です。ここから自分で用意したデータセットで解析を始めていきます。ただ、mnistしかやってない、kerasやsklearnのデータセットでしか動かしてない段階から、自分のデータセットでの解析に移るときには大きな壁があります。
　そう、「どうやって画像を読み込ませたら、ラベルを付けたら良いんだ？」ということです。今月はそのあたりの実務的な流れを勧めたいと思います。

目標

　２ヶ月目の目標は「自作データセットをCNNで学習・分類する。」です。画像を読み込むのはどうすれば良いのか、ラベルをつけるとは何をすることか、学習を進める、結果を得るには何をすればいいか。を理解することが目標です。
　今月までの知識でも「持ってるデータをAIで解析した結果、精度は～％でした。」くらいの発表はできるようになります。工夫が足りないのでtest精度、汎化性能は低いですが、train画像ではある程度の精度は得ることができるはずです。

２ヶ月目でやること

• データセットを自作する
• opencvに慣れる
• callbackを使用する

先月よりもやることが少ないように見えますが、データセットを作るのは手を動かす作業なので結構時間かかります。

説明用データセットについて

　データを集めるのは大変ですが、今回は下記の記事を参考にしてキルミーベイベーデータセットを使用します。なんと２つ目の記事は分類までしてくれています。キルミストとして感謝しかありません。
TensorFlowでキルミーアイコン686枚によるキルミー的アニメ絵分類
GANについて概念から実装まで　～DCGANによるキルミーベイベー生成～
みなさんもどんどんキルミーベイベーデータセットを利用していきましょう！

データセットを自作する

　データセットを作るときですが、機械学習でラベルを付けるやり方として一般的なのは「各ラベルごとにフォルダ分けをしておいて、フォルダ自体をラベルとする。」というやり方です。
　キルミーベイベーデータセットは、「agiri、botsu、others、sonya 、yasuna、yasuna_agiri、yasuna_sonya、yasuna_sonya_agiri」の８ラベルなので、それぞれの画像をこの名前のフォルダに振り分けてあります。
　これに対して各フォルダから取り出すときに、「agiriフォルダから取り出す画像のラベルは0」「botsuフォルダから取り出す画像のラベルは1」というふうにラベルを付けていきます。
この記事がわかりやすいです。
[Keras/TensorFlow] Kerasで自前のデータから学習と予測

今回はkill_me_baby_datasetsフォルダの下にtrainフォルダを作り、その中にキルミーベイベーデータセットの各フォルダを入れて処理を初めます。

import glob, os, shutil, cv2
import numpy as np
#フォルダリストを取得
path='kill_me_baby_datasets'
train_list=glob.glob(path+'/train/*')
#testフォルダvalフォルダを作成
for i in train_list:
    os.makedirs(i.replace('train','test'))
    os.makedirs(i.replace('train','val'))

これでtrainと同じ階層に、空の8種のフォルダを持つ「test, val」フォルダができます。
やってることとしては、glob.globで指定のフォルダ・ファイルのパスのリストを取得しています。これはよく使います。
os.makedirsでフォルダを作るのですが、中間フォルダがない場合、そこも作ってくれます。

for file in train_list:
    #フォルダ内画像のパスを取得
    pics = glob.glob(file+'/*.png')
    pick_num = len(pics)//10
    if not pick_num: continue
    #20%を選び出す
    choice = np.random.choice(pics, pick_num*2, replace=False)
    #選んだ画像をtestとvalフォルダに移動
    for test_pic in choice[:pick_num]:
        shutil.move(test_pic, test_pic.replace('train','test'))
    for val_pic in choice[pick_num:]:
        shutil.move(val_pic, val_pic.replace('train','val'))

次にこれを動かすことで8割はtrainに残しておいて、1割をvalフォルダ、残りの1割をtestフォルダに移動させます。
元のパスの名前のところをreplaceで書き換えることで、保存先フォルダを指定します。

OpenCVについて

画像処理が簡単にできるモジュールです。
「pip install opencv-python」でインストールするのに「import cv2」でインポートします。
学習にはこのページがおすすめです。使い方がいろいろと乗っています。
色々できますが、今回使うのは画像を読みこむ「cv2.imread(filepath)」と画像のサイズを調整する「cv2.resize(image, (wideth, height))」です。他の機能はおいおい使うときにでも。

それではtrain、val、testフォルダから画像を取り出していきます。

def get_data(dpath):
    path_list = glob.glob(dpath+'/*')
    #画像ファイル、ラベルを入れる箱を用意
    x=[]
    y=[]
    #フォルダ名でループを回す
    for label, pic_path in enumerate(path_list):
        #サブフォルダ内のファイルリストを取得
        train_pic_list = glob.glob(pic_path+'/*.png')
        print(pic_path, len(train_pic_list))
        #画像ファイルを取得＋リサイズ、ラベルを用意
        x += [cv2.resize(cv2.imread(i), (128, 128)) for i in train_pic_list]
        y += [label]*len(train_pic_list)

    #画像をfloat32に変換正規化、ラベルをカテゴリカル化
    x = np.float32(x)/255
    y = keras.utils.to_categorical(y, len(path_list))
    return x, y

x_train, y_train = get_data(path+'/train')
x_val, y_val = get_data(path+'/val')
x_test, y_test = get_data(path+'/test')
print(x_train.shape, y_train.shape)
print(x_val.shape, y_val.shape)
print(x_test.shape, y_test.shape)

こんな感じでファイルを読み込んでいきます。
①agiri等のフォルダリストを取得
②フォルダリストでループ回してフォルダ内画像を取得＋画像分のラベルを用意、x, yに渡す
③全部取得したらxはfloat32化、yはone-hot化する
④この関数をtrain、val、testについて動かす
という流れです。初めはこまめにx.shapeなどで次元がどうなっている確認しておくと良いです。

モデルについて

今回はモデルもちょっと工夫します。VGGっぽくconv2D層を積み重ねました。
BatchNormalizationとかGlobalAveragePooling2Dも使ってみました。
前者は収束の改善、後者はモデルを軽くする等の効果があるそうです。
この記事とかが効果がわかって良いと思います。
畳込みニューラルネットワークの基本技術を比較する　ーResnetを題材にー

from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten,GlobalAveragePooling2D
from keras.layers import Conv2D, MaxPooling2D, BatchNormalization
from keras.optimizers import Adam

input_shape = (128, 128, 3)
model = Sequential()
model.add(Conv2D(32, kernel_size=(3, 3), activation='relu', padding='same', input_shape=input_shape))
model.add(BatchNormalization())
model.add(Conv2D(32, kernel_size=(3, 3), activation='relu', padding='same'))
model.add(BatchNormalization())
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(64, kernel_size=(3, 3), activation='relu', padding='same'))
model.add(BatchNormalization())
model.add(Conv2D(64, kernel_size=(3, 3), activation='relu', padding='same'))
model.add(BatchNormalization())
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(128, kernel_size=(3, 3), activation='relu', padding='same'))
model.add(BatchNormalization())
model.add(Conv2D(128, kernel_size=(3, 3), activation='relu', padding='same'))
model.add(BatchNormalization())
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(256, kernel_size=(3, 3), activation='relu', padding='same'))
model.add(BatchNormalization())
model.add(Conv2D(256, kernel_size=(3, 3), activation='relu', padding='same'))
model.add(BatchNormalization())
model.add(GlobalAveragePooling2D())

model.add(Dropout(0.5))
model.add(Dense(8, activation='softmax'))

model.summary()
model.compile(loss='categorical_crossentropy',
              optimizer=Adam(),
              metrics=['accuracy'])

本来はBatchnormalization→reluですが、見づらくなるのでActivation層分けませんでした。実際のところ効果の差もわからないですし。

callbackについて

callbackはkerasが用意してくれてる学習中に働く便利ツールです。自分がよく使ってるのを紹介します。

ModelCheckpoint：途中の重み保存。必須。今回はval_lossの値が改善したら重みを保存します。Trueのところを変えれば毎回保存したり、モデル、コンパイルごと保存するようにもできます。
EarlyStopping：モデルの改善が見られなくなったら学習を止めます。時間気にしないなら別に使わなくても良いかも。ちっこいデータセットだと覚えきってacc:1.000になり学習しなくなるので、自分はaccを監視してます。
CSVlogger：学習過程をCSVに吐き出します。学習の過程のグラフ作るときにどうぞ。
ReduceLROnPlateau：モデルの改善が停滞したときに学習率を減らしてくれます。

from keras.callbacks import ModelCheckpoint, EarlyStopping, CSVLogger, ReduceLROnPlateau
#val_lossがbestの値を出したときにモデルの重みのみ(weight_only)を保存
checkpoint_path = path+"/weights/weights_{epoch:02d}_{val_loss:.3f}_{val_acc:.3f}.h5"
print(checkpoint_path)
checkpoint = ModelCheckpoint(checkpoint_path, monitor='val_loss', verbose=0,
                                 save_best_only=True, save_weights_only=True, mode='auto')
#accの向上がない=学習が止まっているとみてストップする。
earlystop = EarlyStopping(monitor='acc', patience=15, verbose=1, mode='auto')
# CSV出力、下に重ねていく
csv_logger = CSVLogger(path+'/weights/training.csv', append=True)
# val_lossの向上が見られない時に学習率を減らす。
lr_reducer = ReduceLROnPlateau(monitor='val_loss', factor=0.1**0.5, cooldown=0, patience=15,
                                   verbose=1, min_lr=0.5e-4)
call_backs = [csv_logger,checkpoint, lr_reducer]
print('use:csv_logger,checkpoint2,lr_reducer')

history = model.fit(x_train, y_train, batch_size=32, epochs=30, verbose=1, callbacks=call_backs,
                    validation_data=(x_val, y_val))

結果出力

　学習が終わったら、保存された重みの中で一番val_lossが少ないものを選んで読み込みます。読み込まないと学習終了時の重みを使用することになるので、過学習してるときなどは性能が良くないです。
　テストデータを評価するときにevaluateで精度は見れますが、ちょっと情報が足りないです。どれをどこに間違えたか知っておきたい時に「confusion_matrix」は結構使えます。

weight_list=glob.glob(path+'/weights/*.h5')
print(weight_list[-1])
model.load_weights(weight_list[-1])

score = model.evaluate(x_test, y_test, verbose=0)
print('Test loss:', score[0])
print('Test accuracy:', score[1])

from sklearn.metrics import confusion_matrix
predictions = model.predict(x_test)
print('predictions,shape', predictions.shape)
predict_classes = np.argmax(predictions, 1)
true_classes = np.argmax(y_test, 1)
print(confusion_matrix(true_classes, predict_classes))

結果は以下のようになりました。30epochくらい回して精度は91%です。3つ目・otherのクラスがあまり良くないです。まあモデルも適当ですしこんなもんかと思います。

まとめ

　これで2ヶ月目は終わりです。自作データを使って解析できたらまずは十分と言えるでしょう。あとはスライド力があれば月報も乗り切れるはずです。
　次の問題として、ここまでの知識だけではtest精度が足りないはずです。それは基本的にはデータが十分ではないせいですが、集めている側も大変ですし、きっと十分集めたと思っていることでしょう。
　そこで次の月はデータの水増し（拡張）と呼ばれる技術や、転移学習を使って少ない枚数でも成果を出せるようにしましょう。最後に、今回のコードもここに入れてあります。
素人がAI部門に配属されてやること3ヶ月目(ImageDataGenerator、random erasing、転移学習)