0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

話せるAIアバターを簡単に構築できるソースコードを公開した

Posted at

Webだけで動くAIアバターSDKを公開しました

デモサイト:https://virtual-avatar-sdk-example.vercel.app/

FireShot Capture 065 - AIアバター Example - Virtual Avatar SDK - [virtual-avatar-sdk-example.vercel.app].png

3DアバターをWeb上で簡単に動かせるVirtual Avatar SDK をOSSとして公開しました。

なぜ作ったのか

最近、AIアバターやVTuber的なUIが増えてますよね。アニメ系のアバターについてはpixiv社が公開しているライブラリがすごく使いやすいのですが、(個人的には)ChatGPTとかと連携するのは少しハードルが高いという問題があると感じています。具体的には

  • 簡単に試すにはVRMの導入やLLMとの連携など複雑
  • リップシンク(口パク)や表情制御が面倒
  • アニメーションのロードが複雑

という問題がありました。そこでChatGPTなどのAIを利用して、Vroidアバター(VRM)を用いて話させることができるようなコードがあると便利なのではと思い公開しました。

できること

ai_avatar.js
import { AvatarSpeaker } from "virtual-avatar"

const avatar = new AvatarSpeaker({
  avatar: "/assets/avatars/AvatarSample_A.vrm"
})

await avatar.ready()

avatar.say("こんにちは")

これだけで:

  • 字幕表示
  • リップシンク
  • 音声同期(オプション)
  • 自動瞬き
  • 初期棒立ちアニメーション

が動きます。

ChatGPTと統合可能

ChatGPTなどのAPIレスポンス生成→それらをavatar.say()に渡すことで、リアルタイムな会話体験が簡単に実現できます(音声も渡すことが可能です)。

デフォルトアセット付き

VRoid公式サンプルモデルとアニメーションを同梱しているので、すぐに確認できます。さらにカスタムモデルを読み込めば自分だけのオリジナルアバター体験を作り出せます。

最後に

AIアバターはこれから増えていくUIだと思っています。

  • 観光地
  • EC
  • 教育
  • 店舗受付
  • カスタマーサポート

いろいろな用途に使えるはずです。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?