この投稿は ちゅらデータアドベントカレンダー2023 の14日目の記事です。
みなさん、バ美肉（バーチャル美少女受肉）してますか？
かわいいは正義です。社内で Web 会議などするときもぜひアバターで出席して、この正義を世に広めていきましょう。
ちゅらデータの社内では、CTO が演じるロアちゃんを筆頭として、アバターを使って交流することが流行っています。バ美肉には数多くの先端技術が関わっているので、最新の技術に触れる良い機会にもなります。
今年のアドベントカレンダーでは3日に分けて、アバターを作って使うまでの色々をアバター・ボイチェン（音声変換）・配信についてご紹介しています。
今日はその第1弾、アバター編です。
アバター編
モデルを用意して、それをフェイストラッカーを使って動かす方法を
- 3D モデルの場合
- Live2D モデルの場合
- 一枚絵の場合
のそれぞれについて書いた後、フェイストラッカーで使う用の Web カメラについて書きます。
3D モデルの場合
作る
Vket Store や BOOTH では様々なモデルが有料・無料で頒布されていますが、せっかくなら自分で作ってみたいという方も多いでしょう。
簡単に自作したい場合は、VRoid Studio を使ってゲームのキャラメイクの感覚でアバターのモデルを制作し、VRM 形式でエクスポートすることができます。この VRoid Studio で制作したモデルは「商用・非商用を問わずさまざまな用途に利用可能」とされているので、安心して使えるでしょう。
ちなみに VRoid Hub は VRoid Studio で制作したモデルを展示・頒布する場所で、ここでモデルを探してみるのもよいでしょう。
動かす
用意した 3D モデルを動かす方法はたくさんありますが、手軽に使えておすすめなのが Kalidoface です。ブラウザから Web カメラを使用して 3D モデルのアバターを動かしてくれる Kalidoface、実は現在2種類提供されています。
↑これは成熟していて多機能な方の Kalidoface 3D です。顔のほか、不安定ながらも上半身や全身のトラッキングにも対応しています。友達を呼んで二人でわちゃわちゃおしゃべりすることもできます。
↑これは新しい方の Kalidoface Lab です。顔しかトラッキングできませんが、より表情豊かで、動きも滑らかになりました。カメラ位置姿勢のオフセットを設定できるようになっており、カメラの設置位置を正面以外に置いてもアバターを正面に向かせるよう調整が可能です。ブラウザから Web アプリとして利用できる他、ネイティブアプリとしての実行ファイルも配布されています。
また、どちらの Kalidoface も Progressive Web Application として利用することができるようになっています。アドレスバーが消えてスッキリするのでおすすめの利用方法です。
なお、Chrome で動く Web アプリは他のウィンドウの下に完全に隠れてしまうと画面更新が停止してしまうので注意してください。
Live2D モデルの場合
Live2D は自分では試したことがないので、聞きかじった話をご紹介します。
最近新たに自作アバターでバ美肉したよという DATUM STUDIO の Ryuku さんの LT を聞く機会がありました。Ryuku さんによると、下記の要領でオリジナルのアバターを制作したそうです。
作る
用意するもの
- Stable Diffusion (img2img)
- ChatGPT Plus (GPT-4 Vision)
- CLIP STUDIO PAINT
- 液晶タブレット
- Live2D Cubism Editor
つくりかた
- 一枚絵を制作する
- 自分で下書きを描く
- Stable Diffusion の img2img 機能で完成度を高める
- ChatGPT に画像を見せて改善案を尋ねる
- 絵を修正する
- 納得いくまで2〜4を繰り返す
- レイヤ分けする
- CLIP STUDIO PAINT と液晶タブレットで頑張る
- Live2D モデルにする
- Live2D Cubism Editor で頑張る
動かす
Live2D モデルを動かすのには VTube Studio を使用したそうです。その他にも選択肢はいくつかあったと思います。
一枚絵の場合
一枚絵のみを使って動くアバターを実現する方法もあります。
Talking Head(?) Anime from a Single Image 4: Improved Model and Its Distillation は、アバターとして背景透過の一枚絵を用意するだけで、Web カメラの映像に合わせてアバターを動かしてくれるもののようです。ブラウザから試せるデモが公開されています。
ソースコードは 2023/12/14 現在公開準備中のようなので、期待して待ちましょう。
今すぐ自分のアバターで使ってみたい方は、過去のバージョンも利用できます。ただし高速な NVIDIA GPU が必須です。
-
Talking Head Anime from a Single Image
- Web カメラを使用
-
Talking Head Anime from a Single Image 2: More Expressive
- カメラとして Face ID 対応の iPhone を使用
-
Talking Head(?) Anime from A Single Image 3: Now the Body Too
- カメラとして Face ID 対応の iPhone を使用
Web カメラについて
カメラを使ったフェイストラッキングは、入力する映像の画質の影響を大きく受けます。オフィスなどの明るい環境では安価な Web カメラでもきれいに撮れることが多いですが、自宅の少し暗めの環境になってくると画質の差が大きく現れます。特に夜間に自宅で使用したい場合、暗めの環境でもきれいに写る Web カメラがあると心強いです。
参考までに、Web カメラの候補として検討したものを以下に4つご紹介します。
MacBook 搭載の FaceTime カメラ
悪くはないと思います。一見暗い場所でもきれいに写っているように見えます。これは内部でソフトウェア的にがんばっているトーン補正やノイズ除去（スムージング）によるところが大きく、暗い環境でのノイズが目立たなくなる代わりに、輪郭のぼやけた映像になっています。ぼやけた映像をフェイストラッカーの入力に使用すると、やはり精度が下がります。
ロジクール StreamCam C980
1万円台ほどです。短期間借りて使ってみた感想として、暗い場所が結構苦手でした。
Razer Kiyo Pro
1万円台ほどです。ソニー製の裏面照射型 CMOS センサーを使用しているので、暗所でも明るく写ります。ただし暗くなるとパターンノイズが目立ってきます。それでも、以上の3つを試した中では最も良かったです。
画角や HDR などこのカメラの各種設定を変更するためのユーティリティ Razer Synapse 3 が Windows 専用で、Mac に対応していないのは盲点でした。とはいえ、明るさ・コントラストなどの基本的な画質やズームは Camera Controller を利用して変更することができるようです。
Insta360 Link
4万円するので試していませんが、多機能なだけでなく暗所での画質も優れていると評判の Web カメラです。こういう多機能な Web カメラをフル活用できそうな方は、買ってみると幸せになれるんじゃないでしょうか。
あなたのオリジナルアバターが動くようになりましたか？
次回はボイチェン（音声変換）編をお届けします。