Help us understand the problem. What is going on with this article?

フレーム補完するGANを作ってみた

少し前にSRGANを作ったがこれを応用すればフレームも補完できるのでは?と考え、お遊び程度に作り始めた。したがって仕組みはSRGANと全く同じである。
前作ったSRGANのリンク
今回作ったフレーム補間GANのリンク

全体の仕組み

生成器のネットワークは入力6chの出力3ch、入力データは出力フレームの前後のフレームをdim=0で結合させたものを使用する。
FIGAN_info.png
Discriminatorやloss関数などは上のリンクのものと全く同じものを使用している。

学習結果

FIGAN.gif
左がオリジナルの動画で右がフレーム補完をしてレームレートを2倍にした動画である。
補完したフレームが全体的に色が落ちており不鮮明に映っている。さらに生成したフレームは入力フレームのちょうど中間のフレームではなく、時折前後のどちらかに片寄ったフレームを生成して滑らかに見えないときがある。
結果としては、あまりうまくいかなかった。当初思い付きではあるものの、まだましな物が出来上がると思っていたので、フレーム補完についてはまた挑戦したいと考えている。

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away