はじめに

この記事はQiita Advent Calendar 2025 / ひとりアドベントカレンダー分野におけるふぐおの配信関係多めひとり Advent Calendar 2025 の9日目の記事となります。

こんにちは! AI Tuberなどの開発をしているふぐおです。
今回は、私が作ったAI Tuberのシステム図について紹介したいと思います。

現在のAI Tuberシステムの機能

AIが私の声と、視聴者のコメントを認識
AIのアバターのリップシンク
自律的に思考し、発話する
字幕表示
PCを自動操作する
私が黙っているときに、話題を振る
視聴者のギャグを採点する
作業の進捗状況を聞く
配信UIを操作する
私が離席するときに声をかける
デスクトップのスクショを取り、スクショに基づいて発言する

動作を見たいかたは以下の動画をご覧ください。

設計背景は以下の記事をご覧ください。

システム図

青色が登場人物で、今回は視聴者と私とOBSです。
他の四角についてはコンポーネントです。自作のコードだったり、ソフトウェアだったりしますが、今回は責任(仕事)に着目して分けました。
コンポーネント間で矢印が結ばれており、矢印の途中にかかれているテキストの通りのデータが流れています。
これらのコンポーネントは、単に関数呼び出しだったり、RESTだったり、音声入力だったり様々です。
薄いオレンジの四角の部分はLLMの推論が行われる部分です。

こだわり

無駄な概念やデータ交換が行われていないかを見直し、きれいなコンポーネント群になるように設計しました。
同時に、機能の追加や変更のしやすさを重視して、なるべく単一の責任や仕事ごとにコンポーネントを分けることを意識しました。

例えば、上の図の緑の部分はAIのスキル的な部分です。
ここのスキルに関しては、LLMのプロンプトを調整したり、新たにスキルを追加することなどが頻繁に行われるので、変更や追加をしやすいコンポーネント分けになっています。

スキル以外の箇所だと、AIもコメントも音声認識データも全て一つの経路を通り、DBへの登録やコンテキストの作成が行われることでコードがシンプルになり、分かりやすく、メンテナンス性の向上に寄与しています。

その他技術的な詳細について

音声認識

AI TuberコントロールWebアプリ

コンテキストの制作

再生君(音声再生ソフトウェア)

配信UIと字幕

配信UIに関しても以下の記事で書いた技術を応用しています。

まとめ

メンテナンスしやすいコードを心がけていきたい。