この記事はリンク情報システムの「2021新春アドベントカレンダー TechConnect!」のリレー記事です。
TechConnect! は勝手に始めるアドベントカレンダーとして、engineer.hanzomon という勝手に作ったグループによってリレーされます。
（リンク情報システムのFacebookはこちらから）

はじめに

前回に引き続き自由な記事となります。
AIのセミナーを受講したので、復習としてscikit-learnとkerasでCNNを使って、シャドバの画像をリーダークラスで分類してみました。

結果

なんとも言えない結果ですが、これが一番マシでした。（トレーニングデータとの一致率100％とか許されるんですかい）
Trainがトレーニングデータの一致率、Testがテストデータの一致率です。

誤答が面白い

誤答したカードを見ると、たしかに誤答したクラスのカードっぽくて面白いです。

例：Shadowと誤答したRuneのカード（エルモートの見た目はネクロっぽいな……）
https://shadowverse-portal.com/card/119321010?lang=ja
例：Swordと誤答したDragonのカード（剣持ってる人型なのでロイヤル）
https://shadowverse-portal.com/card/119411010?lang=ja
例：Runeと誤答したPortalのカード（むしろ何故ウィッチじゃなかったのか、CNNもそう仰っている）
https://shadowverse-portal.com/card/119831010?lang=ja

準備

まずシャドバのカード画像データを用意します。（今回はベーシック～ナテラ崩壊まで）

収集時は何も考えてなかったので日本語カード名がファイル名な上、リーダークラスが分かれていません。
これを、以下のように整理します。
・リーダークラス別のフォルダに格納

・XXX_クラス名にリネームする

ニュートラルカードは共通する特徴が無くて学習を邪魔しそうなので捨てます。

学習する

まずは、OpenCVを使って画像を整形します。（CNNに入れるために正方形に引き伸ばす）

from glob import glob
import cv2
import os

path = glob('./img_class/*/')
data  = [] # 画像データ
label = [] # ラベル（分類）

class_num = 0 # 分類ID（8リーダーなので0-7が割り振られる）
image_size = 256 # リサイズする正方形のサイズ

for f in path:
    files = os.listdir(directory)
    for image in files: # Directory内の全画像を整形してリスト化する
        if image.endswith(".png"):
            image = cv2.imread(directory + image)
            image =cv2.resize(image, (image_size, image_size))
            image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) # なんとなくRGBにする（ライブ感）
            image_rgb = image_rgb.flatten() # 平坦化
            data.append(image_rgb) 
            label.append(class_num)
    class_num += 1

これで256*256に引き伸ばされたカード画像とラベルのセットができました。

次にscikit-learnの力で、CNNに合わせて学習データを整形します。

import numpy as np
import tensorflow as tf
from tensorflow import keras
from keras.utils.np_utils import to_categorical
from sklearn.model_selection import train_test_split

# データ型を変更
data = np.array(data, dtype=np.float32)
label = np.array(label, dtype=np.float32)

# 学習データとテストデータに分割(8:2)
train_data, test_data, train_label, test_label = train_test_split(
        data,label, random_state = 1, stratify = label, test_size = 0.2)

# リストを変形[データ数, 256, 256, 3（RGBのチャネル数）]
train_data = train_data.reshape((len(train_data)),image_size,image_size,3)
test_data = test_data.reshape((len(test_data)),image_size,image_size,3)

# 正規化
train_data /= 255
test_data /= 255

# ラベルデータをone-hot encoding(種別数はリーダー数の8)
train_label = to_categorical(train_label, num_classes = 8)
test_label = to_categorical(test_label, num_classes = 8)

これで学習データの準備ができました。
次にCNNをなんとなく組みます。kerasめっちゃ簡単ですごい。

from tensorflow.keras import models,layers
from tensorflow.keras import optimizers

model = models.Sequential()

model.add(layers.Conv2D(20, (5, 5), activation='relu', padding='same', input_shape=(image_size, image_size, 3)))
model.add(layers.MaxPooling2D(pool_size=(2, 2)))
model.add(layers.Conv2D(50, (5, 5), activation='relu', padding='same'))
model.add(layers.MaxPooling2D(pool_size=(2, 2)))
model.add(layers.Flatten())
model.add(layers.Dense(500, activation='relu'))
model.add(layers.Dense(500, activation='relu'))
model.add(layers.Dense(8, activation='softmax'))

model.compile(optimizer='adam',loss = 'categorical_crossentropy',metrics = ["accuracy"])

model.summary()
_________________________________________________________________
Layer (type)                 Output Shape              Param #
=================================================================
conv2d (Conv2D)              (None, 256, 256, 20)      1520
_________________________________________________________________
max_pooling2d (MaxPooling2D) (None, 128, 128, 20)      0
_________________________________________________________________
conv2d_1 (Conv2D)            (None, 128, 128, 50)      25050
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 64, 64, 50)        0
_________________________________________________________________
flatten (Flatten)            (None, 204800)            0
_________________________________________________________________
dense (Dense)                (None, 500)               102400500
_________________________________________________________________
dense_1 (Dense)              (None, 500)               250500
_________________________________________________________________
dense_2 (Dense)              (None, 8)                 4008
=================================================================
Total params: 102,681,578
Trainable params: 102,681,578
Non-trainable params: 0

学習します。(最初の結果の通り、一瞬でLossが0になってしまうのでEarlyStoppingが必要（1敗）)


epoch = 100
batchsize = 25

# EarlyStopping
from tensorflow.keras.callbacks import EarlyStopping

early_stopping = EarlyStopping(monitor='val_loss',
                               patience=10,
                               min_delta= 0.01,
                               verbose=1)

hist = model.fit(train_data, train_label, batch_size=batchsize, 
                    epochs=epoch, verbose=2, 
                    validation_data=(test_data, test_label),
                    callbacks=[early_stopping])

15～16分で終了するので、結果を保存します。あと、学習過程も出します。

from keras.models import load_model
model.save('./my_model.h5') 

plt.plot(history.history['accuracy'])
plt.plot(history.history['val_accuracy'])
plt.title('Model accuracy')
plt.ylabel('Accuracy')
plt.xlabel('Epoch')
plt.legend(['Train', 'Test'], loc='upper left')
plt.show()

ハイパーパラメータを色々いじったり、画像サイズを変えたり、グレースケールにしてみたり、いろいろ試した結果、
学習時間が短くて、いい感じだったのが以上の手順です。

ちなみに一番ひどかった結果は画像サイズ128、グレースケールの時で、テストデータの一致率が0.2でした。

学習モデルを使って分類してみる

最新弾（2021/1/11現在）である「十天覚醒」のカードをクラス分類してみましょう。
パックを代表するお兄さんを判定してみます。（正解はSwordです。）
https://shadowverse-portal.com/card/119241020?lang=ja


# ファイルをロードして、学習時と同じサイズでリサイズ、CNN用のデータに整形します
image = cv2.imread(path)
image = cv2.resize(image, (image_size, image_size))
image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
image_rgb = image_rgb.flatten()
data.append(image_rgb)

data = np.array(data, dtype=np.float32)
data = data.reshape((len(data)),image_size,image_size,3)
data /= 255 # to 0-1

# モデルのロード
mymodel = keras.models.load_model('./Color_my_model.h5', compile=False)
mymodel.summary()

# モデルを使って予測
predict = mymodel.predict(data)

# 結果は、0-7で返却されるので変換して表示
base = ['Forest', 'Sword', 'Rune', 'Dragon', 'Shadow', 'Blood', 'Haven', 'Portal']
for fil, pred in zip(file_name, predict):
    pred_index = np.argmax(pred)
    print(str(fil)+" :" + base[pred_index])
    score.append(pred_index)

 Seofon.png：Sword

ちゃんと判定できてますね！！！！
（なお、全体の正答率）

終わりに

自分でデータを用意してやってみると、どんな結果が出ても興味深く、より面白いですね。
誤答もカード画像を見るとなんか納得できるのがエンタメ感あります。

次回は@hs-lisさんです。

シャドバのカード画像をリーダクラスで分類したかった

はじめに

結果

最新弾のカードでテスト

誤答が面白い

準備

学習する

学習モデルを使って分類してみる

終わりに