Introduction

Fast AIの第２講のレッスンを受けたので、そこまでの知識をもって、ドラえもんのキャラクタ認識を実装してみます。

なおFast AIではTop-Downアプローチで、機械学習を学ぶことを推奨しています。
つまり理論を先に学ぶより、まずは機械学習を動かしてみる。
その体験をしてから、必要なものを学ぶスタイルです。

実践こそ一番学べると私自身共感しているので、この方針で学習を進めています。

前提

実行環境はColabで行っています。

画像のダウンロードに、BingSearchのv7を利用しています。
BingSearchは、Azureの無料アカウントが必要となります。
https://www.microsoft.com/en-us/bing/apis/bing-web-search-api

結果

ドラえもんの画像から、ドラえもんと予測できました。

learn_inf.predict(path/'doraemon.png')

実装

早速実装していきます。

初期設定

マウント

Google DriveをColabにマウントします。

from google.colab import drive
drive.mount('/content/gdrive')

インストール

fastbookモジュールをインストールします。
ただしColabにインストールしてしまうと、再度接続したときにモジュールが消えてしまいます。
そのため、マウントしたGoogle Drive上に、保存します。

!pip install --target "/content/gdrive/MyDrive/Colab Notebooks/modules" -Uqq fastbook

pythonでインポートする際、Google Driveからもモジュールを探し出せるように、パスに追加します。

import sys, os
nb_path = '/content/modules'
os.symlink('/content/gdrive/MyDrive/Colab Notebooks/modules', nb_path)
sys.path.insert(0, nb_path)

インポート

必要なライブラリをインポートします。

import fastbook
fastbook.setup_book()
from fastbook import *
from fastai.vision.widgets import *

画像ダウンロード

BingSearchを利用して、画像をダウンロードします。

Azureキーの設定

# azureのキー
key = os.environ.get('AZURE_SEARCH_KEY', '{{ Azureのキーを入れてください }}')

検索する関数

検索したい用語をパラメータとして、検索結果を返す関数を作成します。

def my_search_images_bing(key, search_term):
    search_url = "https://api.bing.microsoft.com/v7.0/images/search"
    headers = {"Ocp-Apim-Subscription-Key" : key}
    min_size = 128

    params  = {"q": search_term,
               "imageType": "photo",
               "minHeight": min_size,
               "minWidth": min_size,
               "count": 150}
    response = requests.get(search_url, headers=headers, params=params)
    response.raise_for_status()
    search_results = response.json()

    return L(search_results['value'])

search_images_bing = my_search_images_bing

ダウンロード

検索する用語と、ダウンロード先の定義します。

image_types = ['doraemon','nobita', 'suneo', 'jaian']
path = Path('/content/gdrive/My Drive/Colab Notebooks/doraemon/images')

先ほど作成した、画像検索用の関数my_search_images_bingを利用して画像をダウンロードします。
またfastaiでは、URLから画像をダウンロードする関数download_imagesが用意されています。

if not path.exists():
    path.mkdir()
for o in image_types:
    dest = (path/o)
    dest.mkdir(exist_ok=True)
    results = search_images_bing(key, f'{o}')
    download_images(dest, urls=results.attrgot('contentUrl'))

ダウンロードした画像のパスを、取得します。
fastaiでget_image_filesを利用することで、サブディレクトリを含め、画像ファイルのパスをすべて取得できます。

fns = get_image_files(path)
fns

=== 結果
[Path('/content/gdrive/My Drive/Colab Notebooks/doraemon/doraemon/00000000.jpg'),Path('/content/gdrive/My Drive/Colab Notebooks/doraemon/doraemon/00000009.jpg')....
===

破損ファイルの削除

残念ながらダウンロードした画像には、破損している画像がありえます。
fastaiで破損ファイルを特定し、削除する機能があります。

まずは破損ファイルを特定します。

failed = verify_images(fns)

=== 結果
[Path('/content/gdrive/My Drive/Colab Notebooks/doraemon/doraemon/00000012.jpg'),Path('/content/gdrive/My Drive/Colab Notebooks/doraemon/doraemon/00000052.jpg')....
===

特定したファイルを削除していきます。

failed.map(Path.unlink)

画像データからモデルを生成

画像データから、fastaiのモデルを作成します。

fastaiのモデルを作成するには、まずDataBlockクラスでモデルの作成方法を定義します。
次にDataBlockクラスを通して、実際にモデル作成するDataLoaderクラスを生成します。
最後DataLoaderクラスに、ファイルのパスを指定してあげて、モデル作成します。

DataBlockの定義

DataBlockに、以下の情報を定義します。

どんな種類のデータを扱うか
どうやってリストを取得するのか
ラベリングのラベリングの方法
validationセットの作成方法

characterBlock = DataBlock(
    blocks=(ImageBlock, CategoryBlock), 
    get_items=get_image_files, 
    splitter=RandomSplitter(valid_pct=0.2, seed=42),
    get_y=parent_label)

細かく見ていきます。

独立変数（予測の元となる変数）と、従属変数（予測する変数）を定義します。
ここでは独立変数はイメージデータ、従属変数はカテゴリーデータになります。

blocks=(ImageBlock, CategoryBlock),

イメージファイルの取得方法を定義します。

get_items=get_image_files,

ランダムにtrainingデータと、validationデータに分割します。
ここでは、２割をvalidationデータとします。
なお毎度実行するたびに、利用するvalidationデータが変わってしまうのを防ぐため、seedを指定しています。

splitter=RandomSplitter(valid_pct=0.2, seed=42),

どのようにラベルを決定づけるかを定義します。
parent_labelは、fastaiで用意されている、親ディレクトリ名をカテゴリ名とする関数です。

get_y=parent_label,

DataLoaderの生成

DataBlockからDataLoaderを生成します。

characters = characterBlock.new(
    item_tfms=RandomResizedCrop(224, min_scale=0.5),
    batch_tfms=aug_transforms())
dls = characters.dataloaders(path)

ここでも各パラメータを見ていきます。

各画像を解析するためには、画像を同じサイズにする必要があります。
ここでは224×224のサイズを作成するようにします。

また画像のリサイズ方法は、いくつかfastaiで用意されています。
ここでは画像をランダムな拡大率で拡大し、正方形切り取るRandomResizedCropを使用していきます。

item_tfms=RandomResizedCrop(224, min_scale=0.5),

すべての画像が同一サイズになると、GPU上で複数の画像に対して、一気に加工できます。

すべての画像に対して、データ拡張します。
この処理は、画像のアングルを変えたり、コントラストや明るさなどを変更します。

これは、学習データと少しアングル等が違うだけで、全く予測できないような状況を防ぐことが目的です。

batch_tfms=aug_transforms()

最後、実際にパスを指定して、画像からモデルを生成します。

dls = characters.dataloaders(path)

学習

いよいよモデルに学習をさせていきます。
アーキテクチャとして、画像のニューラルネットワークの代表的なCNNを利用します。

learn = cnn_learner(dls, resnet18, metrics=error_rate)

cnn_learnerは、fastaiで用意されているCNNのライブラリです。
resnet18は、ここではresnetを深堀しませんが、resnetという画像解析の手法を１８層使用することを指定しています。
metricsは、学習結果として失敗の割合を出せたり(error_rate)、正解率を出させたり（accuracy）と指定できます。

学習の方法が定義できたら、実際に学習をさせます。
今回は10epoch、つまり10周trainingとvalidationを行います。

learn.fine_tune(10)

学習結果

学習した結果は、fastaiのライブラリを利用することで、わかりやすく表示させることができます。

interp = ClassificationInterpretation.from_learner(learn)
interp.plot_confusion_matrix()

このマトリックスは、行が正解を表し、列が予測を表します。
つまり今回は、実際はのび太なのに、ジャイアンと予測したケースが２１ケースありました。

データクリーニング

画像データのクリーニング作業をします。
fastaiでは、実際にうまく予測できなかったイメージを確認し、
削除やラベルの変更するためのツールが用意されています。

cleaner = ImageClassifierCleaner(learn)
cleaner

今回は、複数キャラクタが写っている画像や、手書きの似顔絵などは削除していきます。
またスネ夫なのに、ドラえもんの訓練データに入っているものなどは、ラベルの変更します。

※プルダウンで選択したら、削除や移動がされるわけではありません。
以下のコードを実行して初めて、削除や移動されます。

import os
for idx in cleaner.delete(): cleaner.fns[idx].unlink()
for idx,cat in cleaner.change(): 
    filepath = str(cleaner.fns[idx])
    ext = os.path.splitext(filepath)[-1]
    dest = path/cat/os.path.basename(filepath)
    i = 1
    while True:
        if os.path.exists(dest):
            filename = os.path.splitext(os.path.basename(dest))[0] + "_" + str(i)
            dest = path/cat/(filename+ext)
            i += 1
        else:
            break
    shutil.move(str(cleaner.fns[idx]), dest)

再学習

データクリーニングが終わったので、再度学習したら、こうなりました。

多少のび太の認識精度が悪いですが、どらえもんの予測には問題なさそうなので、このままいきます。

予測

ドラえもんの画像を読み込ませて、実際に予測させます。

learn_inf.predict(path/'doraemon.png')

予測した結果は、

ラベル名
ラベルのインデックス
各ラベルの確率
が表示されています。

おわりに

機械学習全くの未経験の私ですが、理論からではなく実際にどんなことをしているかが理解できて、非常に楽しく学べました。

また初めて記事投稿しましたが、記事を書くうちに改めて調べなおしたりして、良い学習ができました。
今後もfast aiに準じて学習していくので、各チャプターごとに自分で何かを作って、記事投稿につなげていきたいです。

参考

[fastai] https://docs.fast.ai/
[bing search] https://www.microsoft.com/en-us/bing/apis/bing-web-search-api
[Github] https://github.com/iris-net/fastbook/blob/main/02_doraemon_identifier.ipynb