少し前にSRGANを作ったがこれを応用すればフレームも補完できるのでは？と考え、お遊び程度に作り始めた。したがって仕組みはSRGANと全く同じである。
前作ったSRGANのリンク
今回作ったフレーム補間GANのリンク
全体の仕組み
生成器のネットワークは入力6chの出力3ch、入力データは出力フレームの前後のフレームをdim=0で結合させたものを使用する。
Discriminatorやloss関数などは上のリンクのものと全く同じものを使用している。
学習結果
左がオリジナルの動画で右がフレーム補完をしてレームレートを2倍にした動画である。
補完したフレームが全体的に色が落ちており不鮮明に映っている。さらに生成したフレームは入力フレームのちょうど中間のフレームではなく、時折前後のどちらかに片寄ったフレームを生成して滑らかに見えないときがある。
結果としては、あまりうまくいかなかった。当初思い付きではあるものの、まだましな物が出来上がると思っていたので、フレーム補完についてはまた挑戦したいと考えている。