Webだけで動くAIアバターSDKを公開しました
デモサイト:https://virtual-avatar-sdk-example.vercel.app/
3DアバターをWeb上で簡単に動かせるVirtual Avatar SDK をOSSとして公開しました。
なぜ作ったのか
最近、AIアバターやVTuber的なUIが増えてますよね。アニメ系のアバターについてはpixiv社が公開しているライブラリがすごく使いやすいのですが、(個人的には)ChatGPTとかと連携するのは少しハードルが高いという問題があると感じています。具体的には
- 簡単に試すにはVRMの導入やLLMとの連携など複雑
- リップシンク(口パク)や表情制御が面倒
- アニメーションのロードが複雑
という問題がありました。そこでChatGPTなどのAIを利用して、Vroidアバター(VRM)を用いて話させることができるようなコードがあると便利なのではと思い公開しました。
できること
import { AvatarSpeaker } from "virtual-avatar"
const avatar = new AvatarSpeaker({
avatar: "/assets/avatars/AvatarSample_A.vrm"
})
await avatar.ready()
avatar.say("こんにちは")
これだけで:
- 字幕表示
- リップシンク
- 音声同期(オプション)
- 自動瞬き
- 初期棒立ちアニメーション
が動きます。
ChatGPTと統合可能
ChatGPTなどのAPIレスポンス生成→それらをavatar.say()に渡すことで、リアルタイムな会話体験が簡単に実現できます(音声も渡すことが可能です)。
デフォルトアセット付き
VRoid公式サンプルモデルとアニメーションを同梱しているので、すぐに確認できます。さらにカスタムモデルを読み込めば自分だけのオリジナルアバター体験を作り出せます。
最後に
AIアバターはこれから増えていくUIだと思っています。
- 観光地
- EC
- 教育
- 店舗受付
- カスタマーサポート
いろいろな用途に使えるはずです。
![FireShot Capture 065 - AIアバター Example - Virtual Avatar SDK - [virtual-avatar-sdk-example.vercel.app].png](https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-image-store.s3.ap-northeast-1.amazonaws.com%2F0%2F4322098%2F107a6501-87ca-461a-b090-2657260ecf00.png?ixlib=rb-4.0.0&auto=format&gif-q=60&q=75&s=2e8eefa7d7c00cfd2362c0a47d4050b4)