はじめに
みなさん Vtuber 好きですか?
バ美肉したくありませんか?
私はしたいです.
しかし私には 3D モデリングの技術も, 絵を描く技術もありません.
ならば技術のある人に依頼すればいいじゃないか.
- 2D モデル 数万円 !
- 3D モデル 数十万円 !!
技術もありませんが, お金はもっとありません.
安心してください.
人類の技術の進歩によって, 技術とお金, 両方なくても バ美肉できます.
この記事では誰にでもバ美肉できるように, 理解しやすく 1 から解説していきたいと思います.
これがバ美肉ですか pic.twitter.com/zNFuW3xV5U
— ナス科ナス属トマト (@tomato08131491) January 2, 2020
Talking Head Anime from a Single Image
Google Japan のソフトウェアエンジニアである Pramook Khungurn によって開発された, 1枚の正面を向いているキャラクターの画像から顔アニメーションを自動生成する技術です.
Talking Head Anime from a Single Image
ご想像の通り, ディープラーニングです.
学習データとして
MikuMikuDance
ネットワークアーキテクチャとして
Pumarola et al.'s algorithm
Zhou et al.'s view synthesis algorithm
が利用されています.
この技術によってこんなことや,
こんなことや
— ナス科ナス属トマト (@tomato08131491) January 3, 2020
一枚のキャラクター画像だけで簡単な顔アニメーションを制作するシステムを作ってみました【日本語版】 https://t.co/Nv5pz9HmoQ @YouTubeさんから
こんなことができます.
こんなことが
— ナス科ナス属トマト (@tomato08131491) January 3, 2020
Talking Head Anime from a Single Image https://t.co/LsWaguCG3t @YouTubeさんから
準備 フォルダ構成
pkhungurn が GitHub で公開している talking-head-anime-demo から
talking-head-anime-demoをダウンロードします.
中央右のClone or downloadからDownload ZIPでZIPファイルをダウンロードできるのでそれを展開します.このリンクから
models.zipをダウンロードして展開します.
combiner.pt,face_morpher.pt,two_algo_face_rotator.pt
上記3つのモデルを先ほどダウンロードして解凍したtalking-head-anime-demoのdataディレクトリにコピーします.davisking が公開している dlib-models から
1.と同じようにdlib-models.ZIPをダウンロードして展開します.
shape_predictor_68_face_landmarks.dat.bz2があるのでこれを展開!
してshape_predictor_68_face_landmarks.datにした後,talking-head-anime-demoのdataディレクトリに保存します.
talking-head-anime-demo-master は以下のような構成になります.
準備 Python
こちらの記事で解説
実際に動かしてみる
ディレクトリをtalking-head-anime-demo-master に変更します.
- 手動で動かす場合は,
python app/manual_poser.pyを実行します. - 顔をトラッキングして動かす場合はwebカメラなどを用意して,
python app/puppeteer.pyを実行します.
Load Image ... で画像を選択します.
- 手動で動かす場合は, バーをいろいろ動かしてみると目を閉じたり, 頭を動かしたりできる.
- 顔をトラッキングして動かす場合は, 自分の頭を動かしたり, 瞬きしたりするとそれに合わせてキャラクターも動いてくれる.
あとは自由に遊ぼう!
まとめ
今回, 自分がバ美肉するのにかかった費用は, WEBカメラlogicool C270N HD WEBCAMの購入代金である
￥2010だけです. このWEBカメラでさえスマホアプリで代用可能なので, もはやバ美肉するのに金銭的ハードルはないに等しいでしょう.
プログラムを少し変えることによってアニメーション画像の表示だけにもできるので, それも後日解説したいと思っています.