スタジオゴルゴンゾーラ制作部の藤田です．
ゴルゴンゾーラではアニメーション制作を主に行っています．担当は動画でした．アニメーションはよくパラパラ漫画と言われます．原画というものが設計図として存在しており，動画はその間を埋めるものです．
動画の作業は辛く厳しいものでした．原画間の動きを予測した上で，原画に似せた絵を描くことは非常に難しいのです（つまり，絵心が無かった）．

今回は，そんな過酷な動画作業を少しでも楽にするため，物体追跡アルゴリズムで用いられるオプティカルフローを使って，原画の自動補間を試みました．実験の結果，概ね動画の下書きとして十分な精度の画像が得られました．これを使うことで，動画作業の負荷が軽減できると考えています．

(論文も書きました．ダウンロードはコチラから)

背景

ゴルゴンゾーラとは

アニメ作ってます．食レポとガジェット集めが主な日課．

動画とは

下絵である原画をクリーンナップし，動作を滑らかにするために作成されるものです．原画間の動きを，アニメーターが予測して描く必要があります．これには専門的な知識や経験が必要です．そのため，アニメーション制作には一定のハードルがあります．

Figure 1に実際のアニメーション制作で用いた素材を示します．まず，映像の設計図となる絵コンテ(Figure 1A)から，カットの設計図であるレイアウト(Figure 1B)を描き起こします．次に，動きの設計図である原画(Figure 1C)，原画を繋ぐものである動画(Figure 1D)を作成します．動画は中割りとも呼ばれます．動画に着色し(Figure 1E)，効果などを適用すると，完成映像(Figure 1F)となります．

提案手法

今回の検証実験では，物体追跡アルゴリズムで用いられるオプティカルフローを利用して，原画間の補間をすることで，動画の下書きを作成することを試みます．

オプティカルフローとは

"オプティカルフロー（英: optical flow）とは、視覚表現（通常、時間的に連続するデジタル画像）の中で物体の動きをベクトルで表したものである。"
オプティカルフロー - Wikipedia

オプティカルフローは，あるピクセルの色や輝度を元に，比較画像内でのピクセルの動きを表したものです．
滝の画像についてのオプティカルフローを以下に示します(Figure 2)．

ピクセルの変化している滝の部分で，動きが検出されていることがわかります．
比較元(Figure 2A)と比較先(Figure 2B)で，変化している箇所が赤く検出されています(Figure 2C)．

今回の提案手法ではオプティカルフローを基に，原画を変形します．変形した原画を動画の下書きとします．
実際の結果は，以下の通りです(Figure 3)．

検出されたベクトル(Figure 3A)を元に，その中間部分の形へと画像を変形させます(Figure 3B)．
自動で動画を作成する機能を持ったソフトには，CACANiなどがあります．しかし，これらのソフトには描き順を揃えなければならないという難点があります．絵心の乏しい者としては，これは非常に大変なことです．

今回の提案手法では，画像を変形するため，描き順を気にする必要はありません．加えて，アナログ・デジタル関係なく用いることができます．

実験結果

実際の制作データを用いて，提案手法が有効であるか，検証しました．

実験結果(Figure 4)では，原画A1(Figure 4A)と原画A2(Figure 4C)を比較したオプティカルフローを基に，A1を変形した画像(Figure 4B)を出力しました．この補間した画像は，確かに2枚の中割りとなっています．

次に別のカットの素材で実験した結果を示します．

左が原画のみ，右が原画と補間した画像を組み合わせたものです．
動画にしても，自然な結果が得られていることがわかります．

おわりに

本稿では，オプティカルフローを用いたアニメーション制作における原画の補間手法を提案しました．また，提案手法が有効かどうか検証するため，実際の制作データを用いて実験を行いました．
実験結果から，提案手法によって，十分に自然な画像が得られることがわかりました．

しかし，得られた画像の中には，一部不自然なものがありました．その例を以下に示します．

この例では，基になった原画(Figure 5A)と，これを変形して得られた画像(Figure 5B)を示しました．
画像を変形して結果を得るため，検出したオプティカルフローによっては，画像が大きく乱れる場合があります．これはオプティカルフローが大きい場合に顕著です．

この画像の乱れを補正するため，機械学習によるパターンマッチングの手法を用いることを検討中です．

Acknowledgement

本研究で用いた素材はすべてスタジオゴルゴンゾーラの著作物です．
おまけ:http://blog.gorgonezola.com/2017/01/222332/