Facebookが論文を書いている、C3Dというモデルがあります。これは、動画の分類器です。通常、写真の分類器ですと、2次元のConvolutionを使いますが、C3Dでは時間方向に次元を拡張し、3次元のConvolutionをしています。
これの、Tensorflow版、Keras版、PyTorch版そしてオリジナルのCaffe版（但しConvolution3Dに対応するためCaffeを改造）はあるのですが、Chainer版が見当たらなかったので、移植してみました。
- c3d-chainer: https://github.com/ikeyasu/c3d-chainer
※ 一応動いていますが、元のものと同じ精度が出ているかは確認していません。
Chainer用に変換した学習済みモデルもこちらで配布しています。
Pretrained モデルを使ってみる
README.mdのとおり、モデルをダウンロードして、必要なものをインストールすれば以下のように実行できます。
以下、 https://www.youtube.com/watch?v=dM06AMFLsrc のバスケットボールの動画を予測をしています。
$ python predict.py -a c3d --model caffe_model/conv3d_deepnetA_sport1m_iter_1900000_chainer.model --mean caffe_model/train01_16_128_171_mean.npy --video dM06AMFLsrc.mp4 --labels caffe_model/labels.txt
Loaded 487 labels.
Loaded caffe_model/conv3d_deepnetA_sport1m_iter_1900000_chainer.model.
/home/ikeyasu/anaconda3/envs/chainer3/lib/python3.6/site-packages/chainer/utils/experimental.py:104: FutureWarning: chainer.functions.pooling.MaxPoolingND is experimental. The interface can change in the future.
FutureWarning)
Position of maximum probability: 367
Maximum probability: 10.43649
Corresponding label: basketball
Top 5 probabilities and labels:
10.43649 basketball
8.61597 volleyball
8.46861 streetball
7.04241 roller derby
6.63952 freestyle wrestling
コンバート
本来、Chainerでしたら、CaffeFunctionを使って、Caffeモデルのインポートができます。が、C3Dは、Caffe自体を改造して作られているのでインポートができません。
そのため、重みのコピーを行いました。これは、C3D Model for Kerasを参考にしています。
を見てもらえると分かりますが、各レイヤーの重みをコピーしているだけです。
スクラッチからTraining
また、元論文は、Sports-1Mを使っているのですが、スクラッチから学習を試すには規模が大きかったので、UCF-11という小ぶりなデータセットを使っています。（個人的には、Video classificationのCIFAR-10の位置づけと認識しています）
これで学習すると、以下のように、8割ちょっとの結果がでました。学習時間は、GTX 1080 搭載の手元のPCで、3時間ぐらいです。
実行の仕方は、こちらのREADME.mdを見てもらえれば分かるので、ここでは実装時に工夫した点を書きたいと思います。
データの用意
試行錯誤の時間を早めるため、ffmpeg で静止画に展開して、それを動画として読み込むためのDatasetクラスを作りました。https://github.com/ikeyasu/c3d-chainer/blob/master/datasets/UCF11.py
また、最初は、CIFAR-10と合わせて、32px の大きさで試していました。が、イマイチ結果が出ず。これは、人間の目で見ても、解像度が低すぎて何か分からないので、仕方ないかなと思います。
Data augumentation
その他パラメータを論文に合わせて実行すると、すぐに main/accuracy が1になって、validation/accuracy が良くならない、そして学習が進むとvalidation/lossが増えるという、過学習の状態になりました。当初は、さぼって Data augumentation をしてなかったので、それが悪かったんだろうという事で、以下3つのaugumentationをしてみました。
- Random Fliping (水平方向反転)
- Random Crop (少し大きめの画像から領域をランダムにトリミング)
- Random Erase (一部をマスク)
比較のため、全てのData augmentationをOffにしたグラフを以下に掲載します。
過学習しているグラフ（Data augmentationなし）：
先ほどのグラフと比べて、完全に過学習していて、精度が上がっていない事が分かります。もっとも、単純にaccuracy(Classificationなので、softmax_cross_entropy)を比較しても、Data augmentationをしていないときと、そんなに変わらないようです。ただ、Lossの方は、向上しており、過学習がある程度解消している事は見て取れます。