@sasanoyuki

Are you sure you want to delete the question?

If your question is resolved, you may close it.

Leaving a resolved question undeleted may help others!

We hope you find it useful!

iFacialMocap(PC)を使用してTalking Head Anime3を操作するもフェイストラッキングが反映されない

■用途
Talking Head Anime3は1枚絵イラストの表情をアニメーション化するAIする技術で簡単にVtuberになれるツール

■問題
アニメーション化するにはiFacialMocap(PC)にて表情をキャプチャーするアプリを使用して1枚絵イラストを動かすのですが、エラーを吐きTalking Head Anime3とiFacialMocap(PC)を連動させることが出来ません。
成功すれば右にも左と同じキャラクターが表示されます。
※iFacialMocap(PC)の方は顔認識はしています。

SnapCrab_No-0148.gif

■発生している問題・エラー
///////////////////////
Traceback (most recent call last):
File "tha3/app/ifacialmocap_puppeteer.py", line 382, in update_result_image_bitmap
ifacialmocap_pose = self.read_ifacialmocap_pose()
File "tha3/app/ifacialmocap_puppeteer.py", line 148, in read_ifacialmocap_pose
self.ifacialmocap_pose = parse_ifacialmocap_v1_pose(socket_string)
File "C:\Users\kikuti\Desktop\talking-head-anime-3-with-switchable-images\tha3\mocap\ifacialmocap_v2.py", line 79, in parse_ifacialmocap_v1_pose
assert len(components) == 2
AssertionError
///////////////////////

■参考記事サイト
https://tech-blog.cloud-config.jp/2023-08-24-vtuber-with-ai-first-part
https://www.youtube.com/watch?v=sjONEyCWbDs&t
https://gitlab.com/pale_color/talking-head-anime-3-with-switchable-images/-/blob/main/README.md?ref_type=heads&plain=0

■私が行った手順(Anaconda導入からTalking Head Anime3実行まで)

※talking-head-anime-3-with-switchable-imagesは「Talking Head Anime3」のツールです。

1:Anaconda3-2023.09-0-Windows-x86_64.exeをインストール

2:Powershell Promptを起動

3:Powershell Promptにて「(base) PS C:\Users\kikuti>cd Desktop\talking-head-anime-3-with-switchable-images」を入力

4:(base) PS C:\Users\kikuti\Desktop\talking-head-anime-3-with-switchable-images> conda create -n talking-head-anime-3-with-switchable-images python=3.8を入力

5:yを押す

6:(base) PS C:\Users\kikuti\Desktop\talking-head-anime-3-with-switchable-images> conda activate talking-head-anime-3-with-switchable-imagesを入力

7:(talking-head-anime-3-with-switchable-images) PS C:\Users\kikuti\Desktop\talking-head-anime-3-with-switchable-images> conda install pytorch==1.12.0 torchvision==0.13.0 torchaudio==0.12.0 cudatoolkit=11.6 -c pytorch -c conda-forge

8:done
(talking-head-anime-3-with-switchable-images) PS C:\Users\kikuti\Desktop\talking-head-anime-3-with-switchable-images> conda install scipyを入力

9:(talking-head-anime-3-with-switchable-images) PS C:\Users\kikuti\Desktop\talking-head-anime-3-with-switchable-images> pip install wxpythonを入力

10:(talking-head-anime-3-with-switchable-images) PS C:\Users\kikuti\Desktop\talking-head-anime-3-with-switchable-images> conda install matplotlib

11:yを押す

12:done
(talking-head-anime-3-with-switchable-images) PS C:\Users\kikuti\Desktop\talking-head-anime-3-with-switchable-images> conda activate talking-head-anime-3-with-switchable-images

13:(talking-head-anime-3-with-switchable-images) PS C:\Users\kikuti\Desktop\talking-head-anime-3-with-switchable-images> python tha3/app/ifacialmocap_puppeteer.py --model standard_float --timer 20

これでTalking Head Anime3ツールが実行されます。

その後、iFacialMocap(PC)に連動させるため、参考サイトを元にIP(127.0.0.1)を入力し(STARTCAPTURE!)を押せば実行されるはずなのですが、上記のエラーが発生し右にキャラクターが表示されません。

■補足情報
webカメラ:Logi C270HD WevCam
iFacialMocap(PC)体験版
NVIDIA GeForce RTX 3060Ti
Nvidia AR SDK導入済み

■chatGPTに聞いてみた
chatGPTでは以下の返答が来ました。
///////////////
エラーコードを見ると、iFacialMocapのデータを解析する際に、想定された形式と異なるデータが送られていることが原因のようです。具体的には、以下の部分でエラーが発生しています。

assert len(components) == 2

このコードは、iFacialMocapのデータが「ヘッダー:データ」という形式で送られてくることを前提としていますが、実際に送られてきたデータは「:」で区切られた部分が2つではないことを示しています。つまり、データが欠損しているか、余分な部分があるか、もしくは「:」が正しく入っていない可能性があります。

解決策としては、以下のことを試してみてください。

iFacialMocapのアプリを最新バージョンに更新する。
iFacialMocapの設定を確認し、データの形式が「v1」になっていることを確認する。
iFacialMocapとPCの接続を確認し、通信が安定していることを確認する。
iFacialMocapのアプリを再起動し、データを再送信する。
これらの方法でエラーが解消されない場合は、iFacialMocapのサポートページ1に問い合わせてみてください。彼らはより詳細な解決策を提供してくれるかもしれません。

私はiFacialMocapの開発者ではないので、内部の仕組みについてはお答えできません。ご了承ください。
///////
一応やってみたのですが解決しませんでした。

どうかお力を貸して頂けると助かります。
どうぞよろしくお願いいたします。

0 likes

No Answers yet.

Your answer might help someone💌