Audio2Face導入(味見）

1.はじめに

• きっかけ

  • Isaac SIMの評価を活かしたい
  • もしかして社内用アバターが作れる!?
  • 本業の学習モデルが実現不可と分かり、気分転換

• 環境

  • Windows 10　20H2（いつもUbuntu20.04ですが、Audio2FaceはLinux版がありません）
  • Ryzen5 5600G
  • RTX-3090
  • Mem 32GB
  • SSD 500GB

2.参照サイト

• こちら参照しました。

Developer アカウントお持ちの方はこちらとか

• その他Youtubeでもクリエーターの方々が素晴らしい解説をされています。

3.下準備（悪あがき）

• 今更Windowsインストールは無いでしょう・・・仮想かな。
  • VirtualBox、VMWare Playerで作ってみる。
  • しかもイメージはなんとWindows 11でTPM2.0対応版を提供してくれている。

• こちらがイメージとなり、20GB程度の容量があります。

VirtualBox

• GPU活用の為にはQEMUなどの準備が必要。
  • WSLでのSDKmanagerチャレンジで環境を木端微塵にしたのでなるべく避けたい。
  • 参考しようと思った記事は以下になります。

• OSがCentOSでちょっと違いますが、この手の準備が必要というで・・・

---

• 軽くGGるとVMWareならGPU使えるっぽそうな記載があり、こちらへ差し替え

VMWare Player16

• GPU活用の為には ESXi ハイパーバイザーなどの関連製品が必要。
  • こちらは有償版でトライアルも可能とはありますが・・・
  • Azureで自動課金されたトラウマがあり、こちらもあきらめ。

4.素直にWindows 10

• ちょっと触るだけなのでデュアルブートとかにせず、素直にSSD交換。
  • Windowsのインストールは皆様ご存知かと思いますので省略。
  • 速攻でNvidiaのドライバを最新にして、Omniverseダウンロード。

• 勿論個人版で。

1. ランチャーの稼働後、EXCHANGE＞APP>Omniverse Audio2Faceをインストール
2. Nucleusも一応セットアップしておいてください。（アセットの活用時に有効）
3. 起動に相当時間がかかる（3，4分位）ので気長に待つ
4. Meta meshのスキンヘッドの男性が表示される。

• こんな感じです。
  

• 素のサンプル男性でもラップしたり、なにかしゃべったり音声がはいっています。

  • ただ再生するだけですと口パクのみなので、表情とそれが変化する時間を追加します。
  • EMOTION>Sadnessの下のところを＋クリックして、表情を組み合わせていきます。

• 音声の作成はVOICE BOXを利用させて頂きました。

• 商用もフリーとの説明がありますが、利用規約に沿ってご利用ください。

4. さいごに（サンプル)

• 簡単に表情と音声をのせてみました。(聞き取り辛い点はご容赦を)

• Youtubeは尺が短いと文句言われますね（管理画面）
• ちょっとした気分転換なので次からはDL系をしっかり進めたいです。