Are you sure you want to delete the question?

Leaving a resolved question undeleted may help others!

【miibo】「ボイス(旧ボイスチャット)」で「thinking...」入る前に「承知しました、お待ちください」と発言させたい

miibo「旧ボイスチャット」26.7.28に終了とのこと!(こちら

につきクローズ。


解決したいこと

miibo AIエージェントで「ボイス(旧ボイスチャット)」を試していたのです。

「thinking...」に入る前、ユーザーの質問を受理した時点で、「承知しました、お待ちください」などの発言をさせたいです。

発生している問題・エラー

(記録動画)

  • ユーザーの質問後、「thinking...」のローディング表示の後、AIの回答となりますが、
    その間に何も応答しないので、
    特に音声でのAIチャットでは無応答に思えるので気になってしまいました。

自分で試したこと

(記録動画)

  • これは「シナリオ」を使って実現させたいイメージを疑似的に作ったものです。
    ※試行錯誤しましたが、シナリオではここで終わってしまい、この後にユーザー質問の回答が出来ず。

  • その前に「カスタムアクション (customActions)」と「コネクター (webhooks)」も試していたのですが、上手く設定?動作?出来ず。

  • ルールべースも試しましたが、決め打ち文言しか反応できない&廃合予定とのことで。

  • リアルタイム音声モードも試してみて初期の応答等は良さそうでしたがちゃんとRAGを読めていないような動き(アルファ版になっていますしね)&クレジットの消費が激しく。。

以上です。
よろしくお願いします。

0 likes

6Answer

んーここで功刀さんアバターが反応している感じぐらいにはしたいのですよね・・・
※これはD-IDのサービス(API)も使ってフロントをD-ID、バックをmiiboAPIで実現していますね。
※フロント処理で「回答を考えています、少しお待ちください。」のmp4を再生させているのですね。
AIとのコミュニケーションを深化!リアルなAIアバターとの対面会話UIを爆速構築する|Takuro Mori

miiboだけで実現したいなぁ。
もしかしたら「thinking...」(推論)入る前に、もっと軽いLLMにしてしまえば行けるだろうか?
「シナリオ」で[開始]軽量LLM(nanoモデル。すぐ応答して)→ リッチなLLM(回答考えて)とか?

0Like

なぜ??[シナリオ]-[プレビュー]と、[会話をテスト]および[旧ボイスチャットページURL]で動作が違う?

1. [シナリオ] (回答が正しいか確認)-[プレビュー]まではいい感じ!

1_シナリオ-[プレビュー]まではいい感じ!.avif

シナリオを工夫していましたところ、「回答が正しいか確認」を設定すると、
ユーザーの質問を、オウム返しする動きになり、これは結構レスポンスが早かったので代替手段になりそうだな!
と思いました!

2. しかし[会話をテスト]で動かすと[シナリオ]を使っていない。。

2_[会話をテスト]だと[シナリオ]を使っていない.avif

・・・これ、最近のmiiboあるあるなのですが、、
なぜかシナリオやルールベースが本番環境に反映されない(されづらい)のですよね。。
※この検証もシナリオ設定してから3時間程度は経っているのですが。。
※エージェントの公開も更新してありますし。。

3. [旧ボイスチャットページURL]も[シナリオ]を使っていない。。

3_[旧ボイスチャットページURL]も[シナリオ]を使っていない.avif

・・・そして、実際に使いたいボイスチャットURLでも、シナリオの動作はしていません。。

(全体通しの記録動画)

org_なぜ??[シナリオ]-[プレビュー]と、[会話をテスト]および[旧ボイスチャットページURL]で動作が違う?.avif

0Like

生成AI(Gemini+Cline)が提案してくれた「お待ちください自動再生chromeプラグイン」でどうにか!

(記録動画)

# お待ちください自動再生chromeプラグイン — 機能と実装まとめ

## 概要
- Chrome拡張(Manifest V3)で、ページ内audio・直接mp3・ページ内スクリプト・miiboの「thinking/Typing」や「お待ちください」を検知して、拡張のOffscreenで確実に自動再生する。

## 主なファイル
- manifest.json — offscreen権限・background(service_worker) 設定  
- background.js — Offscreen作成・メッセージ受信(playAudio)  
- offscreen.html / offscreen.js — Offscreenで音声を再生  
- content.js — ページ監視、mp3直接対応、postMessage受信、miibo監視(MutationObserver)

・・・ほほう。

とりあえず「お待ちください」MP3音声は、パトライト社さんから借用しました。
https://www.patlite.co.jp/support/mp3_list/

※効果音はOtoLogic

しかし今度は肝心のmiiboボイスチャットがおかしい。。

肝心のmiiboボイスチャットがおかしい。。.png

通常の文字チャットは2回目以降も質疑できるのですが、
ボイスチャットだと2回目以降の質疑がエラーになってしまいますね。。

まあ・・・ちょっと進歩。

0Like

とりあえずDifyをフロントにしてみましたけども。。

※この後は「RealtimeVoiceChat」(Github)での動作なども検討します。

と思っていたのですが、、
このkun432さんの検証みたら結構大変そうで(しかも日本語対応できなかった。でクローズになっていますし。。)

先にDifyでやってみました。

構成

[ユーザー] - [Dify] - ( LLMノード:miibo-agent(OpenAI互換) ) - [miiboエージェント]


※効果音はOtoLogic様

「チャットボット」で作らないと自動再生しないのですが、音の頭が途切れしまうのですよね、、(その遅延制御等は出来なそう)しかも、JSON出してくるし読み上げてくるし。。

ですので「ワークフロー」で作って、ボタン押すとかのJS(chrome拡張機能)を作らないとかな、と。

それにしても!こうしてみると、miiboボイスチャットは結構最初から完成度が高いと思うのですよ!

・・・2回目以降の回答がちゃんとできれば!
(きっと、どこかの時点からデグレしてしまったんですよね??)

0Like

miibo「旧ボイスチャット」26.7.28に終了とのこと!

miibo「旧ボイスチャット」26.7.28に終了とのこと.png

・・・いや実は、miiboサポートに本件相談していまして、、
旧ボイスチャットを終了する方針はお聞きしていたのですが公式発表を待っておりました。
と、いうことでこのQ&Aもクローズします。

0Like

Your answer might help someone💌