More than 5 years have passed since last update.

オプティカルフローを用いたアニメーション制作における原画の補間

Last updated at 2017-01-22Posted at 2017-01-22

スタジオゴルゴンゾーラ制作部の藤田です．
ゴルゴンゾーラではアニメーション制作を主に行っています．担当は動画でした．アニメーションはよくパラパラ漫画と言われます．原画というものが設計図として存在しており，動画はその間を埋めるものです．
動画の作業は辛く厳しいものでした．原画間の動きを予測した上で，原画に似せた絵を描くことは非常に難しいのです（つまり，絵心が無かった）．

今回は，そんな過酷な動画作業を少しでも楽にするため，物体追跡アルゴリズムで用いられるオプティカルフローを使って，原画の自動補間を試みました．実験の結果，概ね動画の下書きとして十分な精度の画像が得られました．これを使うことで，動画作業の負荷が軽減できると考えています．

(論文も書きました．ダウンロードはコチラから)

背景

ゴルゴンゾーラとは

アニメ作ってます．食レポとガジェット集めが主な日課．

動画とは

下絵である原画をクリーンナップし，動作を滑らかにするために作成されるものです．原画間の動きを，アニメーターが予測して描く必要があります．これには専門的な知識や経験が必要です．そのため，アニメーション制作には一定のハードルがあります．

Figure 1に実際のアニメーション制作で用いた素材を示します．まず，映像の設計図となる絵コンテ(Figure 1A)から，カットの設計図であるレイアウト(Figure 1B)を描き起こします．次に，動きの設計図である原画(Figure 1C)，原画を繋ぐものである動画(Figure 1D)を作成します．動画は中割りとも呼ばれます．動画に着色し(Figure 1E)，効果などを適用すると，完成映像(Figure 1F)となります．

提案手法

今回の検証実験では，物体追跡アルゴリズムで用いられるオプティカルフローを利用して，原画間の補間をすることで，動画の下書きを作成することを試みます．

オプティカルフローとは

"オプティカルフロー（英: optical flow）とは、視覚表現（通常、時間的に連続するデジタル画像）の中で物体の動きをベクトルで表したものである。"
オプティカルフロー - Wikipedia

オプティカルフローは，あるピクセルの色や輝度を元に，比較画像内でのピクセルの動きを表したものです．
滝の画像についてのオプティカルフローを以下に示します(Figure 2)．

ピクセルの変化している滝の部分で，動きが検出されていることがわかります．
比較元(Figure 2A)と比較先(Figure 2B)で，変化している箇所が赤く検出されています(Figure 2C)．

今回の提案手法ではオプティカルフローを基に，原画を変形します．変形した原画を動画の下書きとします．
実際の結果は，以下の通りです(Figure 3)．

検出されたベクトル(Figure 3A)を元に，その中間部分の形へと画像を変形させます(Figure 3B)．
自動で動画を作成する機能を持ったソフトには，CACANiなどがあります．しかし，これらのソフトには描き順を揃えなければならないという難点があります．絵心の乏しい者としては，これは非常に大変なことです．

今回の提案手法では，画像を変形するため，描き順を気にする必要はありません．加えて，アナログ・デジタル関係なく用いることができます．