大学でディープラーニングによる動画のフレーム補間を扱っており、その過程で試している実装をアウトプットします。
これからも動画のフレーム補間の実装の続きを投稿していくので、もしよければLGTM＆フォローお願いします。
今回やったことは、実際の動画フレームを用いて前後６フレームから中間１フレームを生成するネットワークの構築です。
実装環境
Google Colab
https://colab.research.google.com/notebooks/welcome.ipynb?hl=ja
実装概要
前後フレーム（前３・後３）から中間フレームを生成するディープラーニング。ネットワークはDnCNN[1]です。手近にこのネットワークがあったので使用しています。
（[1] Kai Zhang, Wangmeng Zuo, Yunjin Chen, Deyu Meng, and Lei Zhang, “Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising”, https://arxiv.org/abs/1608.03981）
DnCNNのネットワークは次の通りです。本来はノイズ除去を目的としたものです。
入力について、フレームサイズは160*90、チャネル数は18チャネル（6フレーム*RBG）です。
出力について、フレームサイズは同様で、チャネル数は3チャネルです。
青色の中間層のパラメータをいじりました。
層数15、カーネルサイズ3*3、チャネル数72となっています。
データセット
街を撮影したMOT17を使いました。
https://motchallenge.net/
セット数は、train 1320, test 1285 です。
結果
１つ目の画像は、上から前２フレーム、生成した中間フレーム、後２フレームとなります。実際にはもう１フレームずつ入力がありますが、画像が小さくなってしまうので省略しました。
次の画像は、正解の中間フレームとの比較です。
前後に引っ張られていたり、色が変化していたりと、補間できているとは全然言えない結果ですね。
性能評価
汎化性能のグラフはこちら。近い値を取っているので、ここは問題ないと思われる。
損失値等の数値データはこちら。
数値上、そこまで悪い値ではない印象です。以前に１画像をトリミングして疑似的なフレーム補間を行ったときの損失値と平均PSNRに近いです。しかし、これは前後画像がほぼ同じ画像であるためと思われます。mid-top rateは低くなっているので、ここを上げる必要があります。
考察
補間できていない理由として、
・データセット数の少なさ
・入力６フレームがうまく機能していない
・ネットワーク（DnCNN）の問題
の３点だと考えています。
訓練・テストデータともに1300セットほどです。元の画像数は多いのですが、１セットで７フレーム消費するのでなかなか量が稼げないです。自作データセットを今作っている最中なので、データセット数に気を付けながら進めたいと思います。
入力６フレームはどうなのでしょうか。。どの論文見ても前後２フレームで補間を行っているので、このまま６フレームでやり続けてうまくいくのか心配です。比較のためにも２フレームに戻したほうがいいと思い始めました。
今後の方針
・自作データセットでセット数を増やす。
※ハイスピードカメラによるデータセット。このデータセットを使って精度が向上するかが研究の目的です。
・入力フレーム数を何枚にするか検証。
・別のネットワークでの検証。
最後に
最後まで読んでいただきありがとうございました。
改善点等ありましたら遠慮なくご指摘ください。
これからもこの系統の投稿をしていくので、よければLGTM＆フォローお願いします！