1.はじめに

　現在(3/4〜＊3/31)、Neural Network Console Challengeという企業データを用いてディープラーニングに挑戦するAI開発コンテストが開催されています。

　今回のテーマは、Neural Network Console を用いたPIXTAの写真素材の人物画像 10,000枚の分類ということで、応募テーマは「オノマトペ分類」、「画角／焦点距離分類」、「感情分類」、「自由設定」の４つです。

　2017年の Neural Network Console の発表をきっかけに、ディープラーニングを始めた私としては、懐かしい古巣に帰った様な気持ちになり、何はともあれ参加してみることにしました。

　＊学習用データ提供：PIXTA

2.テーマ設定

　人物画像といえば、「友人」、「恋人」、「家族」、「学生」、「ウエディング」、「夫婦」など様々なカテゴリーがあります。

　様々なカテゴリーの中で、写真に写って人物が、1人なのか、2人なのか、グループ（3人以上）なのかで、写真が伝える意味合いは結構違ってくる様に思います。

　ということで、今回私が選ぶテーマは、様々なカテゴリーの画像に写っている人数で分類することにします。

　なお、Neural Network Console には、Windows版と Cloud版の2種類がありますが、今回はデータセット作成までを windows版で、それ以後はCloud版でやっています。

3.アノテーション

　ディープラーニングを行う時にかなりの労力を使うのがアノテーション(画像への注釈付与)ですが、今回は人数による分類なので複雑ではなくて、正解ラベルを「0」,「1」,「2」,「3」と4つ作るだけです。

　手とか下半身とか顔が全く写っていないものは「0」、一人しか写っていないものは「1」、二人写っているものは「2」、三人以上写っているものは「3」とします。

　具体的な作業は、フォルダーを「0」,「1」,「2」,「3」と4つ作り、画像データを見て適切なフォルダーにドラック＆ドロップすることを、ひたすら繰り返すだけです。

　結果、「0」が169枚、「1」が4,687枚、「2」が2,394枚、「3」が2,754枚、計10,004枚。元データが10,000枚なのに4枚増えているのは、ドラッグ＆ドロップ作業の時に、間違えてコピーしたのではないかと思いますが、確認はしていません。

　さすがに、10,000枚を処理するには、丸一日掛かりました。お疲れ様でした。

4.データセットの作成

　画像をフォルダー分類してしまえば後の処理はとても楽です。＋Create Dataset 一発でデータセットの作成が行えます。

　フォルダー分けしたディレクトリーをSource Dir: に、データセットを出力したいディレクトリーをOutput Dir:に入力します。

　Resizeを選択すれば、全ての画像を Output Width: と Output Hight: に設定したサイズに変換してくれます。今回は、カラー224×224サイズの画像に統一しています。

　Output File1:には学習ファイル名、Output File2:にはテストファイル名、Ratio(％)には、学習データとテストデータの比率を設定します。今回の学習：テスト比率は70:30です。

　後は、Applyボタンを押すだけ。自動的に、Neural Network Console が読めるデータセットが完成します。

　完成したデータセットは、Neural Network Console の Cloud 版にある Upload Datasetで、アップロードしておきます。
　

5.ネットワーク設計

　人物の検出は通常、SSDかYOLOを使うのが一般的ですが、Neural Network Consoleでこれらを設計するのは難しそうだったので、一般的なCNNでやってみることにしました。

　ベースモデルは2014年に発表されたVGG16(懐かしい！)とし、各層のフィルター数を半分にスケールダウンさせ適正な規模にしつつ、Convolution の各層には BatchNormal を挟んでブラッシュアップしたものをネットワークとして使います。　

　Neural Network Console のネットワーク設計はとても楽チンです。特に、今回の様な単純なCNNなら、C (Convolution), B (BatchNormalization), R (ReLU)の3つをセットにしてコピペし、時々間にM (MaxPooling)を挟んで線を繋ぐだけ。Webながら、操作は軽快に動きますので、3分あればOKです。

　しかも、I (input)の入力シェイプ、C (Convolution)のフィルター数、A (Affine)の出力数あたりを決めてあげれば、他のパラメータは自動的に設定されるので、ミスも起こり難いです。

6.学習環境

　最初は、ちゃんと動くのか確認するために、先程説明したネットワークの1/4くらいのモデルでやってみたのですが、CPUだけではとても重く、1epochあたり10分くらいかかりました。このままでは、本格モデルでやると 1epochあたり40分と、とても実用になりそうもありません。

　そうした中、ありがたいことに、今回のコンテストでは参加者は申請すると10,000円分のGPU利用枠が貰えるということで、早速メールで NNC-Challenge事務局 (nnc-challenge@ledge.co.jp)へ NNC IDと氏名を記載して申請し、自分の使っている Cloud にGPU利用枠を付与して貰いました。

　ちなみに、SONYさんのGPUの利用料金は、

　うおーっ！これで、K80が丸2日間無料で使えるぞ！

7.学習結果

　それでは、早速GPUを使って学習させてみます。

　GPUで動かすには、自分が使いたいGPUのラジオボタンを選択するだけです。後は、何も変更がいりません。

　本当は、K80がリーズナブルなのですが、メモリ不足でエラーが出てしまったので、V100で実行しました。

　それでは、学習完了後のTRAINING タブを見てみましょう。

　なんと200epochが1時間半で完了しました(27秒/epoch ! )。爆速です。これがもし、CPUだったら33時間くらい掛かってしまいます。ディープラーニングを本格的にやろうと思ったら、GPUは必須ですね。

　ロス推移グラフを見ると、100 epochくらいで Validation Error の減少は打ち止めとなります。それ以後は Training Error が減少するにも関わらず Validation Error は上昇傾向となり、いわゆる過学習に陥っています。

　一番Validation Error が小さかった(Best Validation) のは0.605775 (73epoch時)でした。

　続いて、EVALUATION タブを見てみます。

　Accuracy(精度)は 77.83％ともう一歩です。Precison(予測したものが当たっているか)を見ると、y'＿2が55.28％と低く、y’＿0はなんと0％。Recall(当たりを予測できているか）を見ると、y:label=2が69.89％と低く、y:label=0はなんと0％。

　つまり、「0」は全く「0」として認識されておらず、「2」は「1」や「3」に間違えられることが割とあるという結果でした。

8.推論結果の考察

　EVALUATION タブの Classification Result を見ると、正解ラベルがどういうラベルに間違えたかが分かりますので、前述の正解ラベル「0」と「2」を何に間違えたかをチェックしてみます。

　y:labelは正解ラベル、y'＿1stはネットワークが判断したラベル、y'＿1st_value はネットワークの判断確率を表しています。この場合、正解ラベルは「0」なのに、ネットワークは「1」に59.067％の自信で間違えたということです。　