FastRTCを日本語対応に！リアルタイム音声処理拡張パッケージ `fastrtc-jp` を作りました

この記事では、私が開発したオープンソースプロジェクト fastrtc-jp を紹介します。

FastRTCって何？

FastRTCは、Hugging Faceが公開したリアルタイム通信に特化したPythonフレームワークです。

マイク音声を取得 → 音声認識 → AI応答生成 → 音声合成してスピーカーに出力
という「対話型AIアプリ」に必要な処理を、簡単に実装できます。

ただし...

FastRTC自体は非常に便利なのですが、FastRTCで標準の moonshine Kokoro-TTSは日本語がうまく扱えません

fastrtc-jp は、FastRTCを 日本語音声処理対応に拡張するPythonパッケージです。

FastRTCの構成にそのまま組み込めるよう、TTS/STT処理をプラグイン形式で追加できます。

FastRTCを使いたいけど、日本語対応がないなら作るしかないな...と思ってこのプロジェクトを始めました。

fastrtc-jp を使えば、たとえばこんな構成がPythonだけで実現できます：

🎤マイク入力
　↓
🧠 音声認識　(STT)
　↓
🤖 AI応答生成 (LLM)
　↓
🕺 音声合成　(TTS)
　↓
🔊 スピーカー出力

UIはGradioですぐに触って確認できるのもポイントです！

pip install fastrtc-jp

️オプション機能（使用するラリブラリによって)

pip install fastrtc-jp[vosk]
pip install fastrtc-jp[sbv2]
pip install fastrtc-jp[gtts]

FastRTCは「音声×AI」の世界を誰でも扱えるものにするための素晴らしいフレームワークです。
でも、日本語ユーザーにとってはまだ「素のまま」では使いにくい部分もあります。

そのギャップを埋めるために fastrtc-jp を作りました。

興味を持ってくださった方、GitHubにスター頂けるととても嬉しいです！
Issue・PRも大歓迎です！