リアルタイム音声AIを簡単に実装：Agora、会話型AI拡張機能

著者：グレース、コミュニティ運営

今回、Agoraの会話型AI拡張機能 が Dify Marketplace（マーケットプレイス）でプラグインとして正式リリースされました。本機能により、Difyエコシステムに参加する開発者は、強力なリアルタイム音声AI機能を直接活用可能になります。Agoraが持つ低遅延インタラクティブAIソリューションの専門技術と、Difyのオープンでコミュニティ主導型プラグインマーケットプレイスが融合することで、開発者はより高度で魅力的なAIエージェントを容易に構築できるようになります。

Difyマーケットプレイス：イノベーションの拠点

オープンソースAIアプリケーション開発プラットフォームのv1.0.0リリースに伴い立ち上げた当マーケットプレイスでは、現在120を超えるプラグイン（モデル・ツール・エージェント戦略・拡張機能・バンドル）を提供。モジュール型アーキテクチャ、開発者フレンドリーなツール群、コミュニティ共有やローカルデプロイメントなどの配布チャネルを備え、Agoraの会話型AI拡張機能が持つリアルタイムAI革新を加速させる理想的な環境を構築しています。

Agora会話型AI拡張機能：リアルタイム音声AIの進化

Difyマーケットプレイスで公開されたAgoraの会話型AI拡張機能は、リアルタイムインタラクティブ音声体験の構築を強力に支援します。主要機能は以下の通りです：

• 大規模言語モデル（LLM）を活用したシームレスな音声AIエージェント構築
• 業界最高水準の音声認識機能と主要TTSサービス選択可能な柔軟性
• 超低遅延ソフトウェア定義リアルタイムネットワーク（SD-RTN™）による高速応答
• ネットワーク環境が不安定な状況下でも安定動作するグローバル信頼性
• 低コード統合によるDify内直接展開（バーチャルアシスタント/カスタマーサポートボット等）

本拡張機能はAgoraがサポートするTen Frameworkを基盤としています。Ten Frameworkは会話型AI構築のためのオープンソースフレームワーク兼コミュニティプロジェクトです。

事前準備

ステップ1：拡張機能のインストール

Difyプラグイン探索ページで「Agora会話型AI」を検索しインストール

ステップ2：インストール確認

プラグインギャラリーに正常に表示されていることを確認

ステップ3：Agoraアカウント設定

1. Agoraコンソールにログイン後、新規プロジェクト作成 ⇒ AppID取得
2. プロジェクト証明書が有効な場合は併せて保存
3. 会話AIエンジン設定を有効化（右パネルの「アクティブ」インジケーターで確認）
4. RESTful APIキー/パスワードを生成・保存

※「会話型AI」機能の有効化を忘れずに

ステップ4：TTS設定

対応ベンダー：Microsoft Azure / Elevenlabs
各サービスのAPIキーを取得し保存

ステップ5：Dify連携

1. 拡張機能選択後、「新規APIエンドポイント作成」を実行
2. ReadMe記載のTTSパラメータ（JSON形式）を参考に入力

   ## Azure
   {
       "key": "<your api key>",
       "region": "eastasia",
       "voice_name": "en-US-AndrewMultilingualNeural"
   }
   #############
   ## Elevenlabs
   {
       "key": "<your api key>",
       "model_id": "eleven_flash_v2_5",
       "voice_id": "pNInz6obpgDQGcFmaJgB"
   }
   

3. 保存後にデモページへアクセス：

   https://<your Dify endpoint host>/convoai-web/index.html
   

4. カスタムUI実装時はAPIリファレンスを参照

活用事例

高遅延チャットボットとは異なり、リアルタイム通信（RTC）では迅速で自然な対話が求められます。Agoraの「会話型AI拡張機能」はこの要件を完璧に満たすソリューションです。

実装例：日常検索アシスタント
「近くのおすすめコーヒーショップは？」と尋ねると、温かみのあるカスタム音声で即座に応答します：「二つブロック先にBrew Havenという素敵なカフェがありますよ。気分転換にぴったりです！」Agoraの超低遅延SD-RTN™とシームレスな音声⇄テキスト変換技術により、通信状態が不安定な環境でもリアルタイム応答を実現。

Difyでエージェント/チャットフローを公開後、エンドポイントパネルから設定を微調整可能です。Agora拡張機能により、リアルタイム会話機能と音声トーンのカスタマイズが追加され、以下の用途に最適です：

• 個人用アシスタント
• 24時間対応カスタマーサポート
• 営業現場の即応型ツール

デモ動画確認はこちら

結論

Agora会話型AI拡張機能のDifyマーケットプレイスが誕生したことにより、開発者は容易に高品質なリアルタイム音声AI機能を統合することが可能となりました。これにより、次世代AIエージェント開発の可能性がさらに広がります。

参考

Agora
公式サイト | X

Dify
公式サイト | Github | Docs | X | Discord | Linkedin | Youtube