032 AI屋さんの　マルチモーダルLLMにトークン全文入力　英会話　streamlit＋Gemini

音声入力、音声出力　の大規模言語モデルです。

streamlitの　標準機能にデフォルトで音声入力が実装されています。
インターネットのブラウザ越しのマイクも利用できます。
スマホ一台あれば　クラウドのwebアプリで　英会話教室の開校です。

準備は、pip install streamlit　のみでokです。
音声ファイルを　Gemini　へ　そのまま送信します。

マルチモーダルLLMは、Geminiを使用します。

音声合成、音声出力は、gtts　です。
gttsは、Google製の無料の音声合成ライブラリです。
音声合成の、言語設定を固定するので
英会話向けには、英語固定です。

完成した、英会話アプリ

音声ファイルを渡すだけで、勝手にLLMが　文字起こしして
翻訳して、JSON形式で　回答します。
音声は、日本語以外もそのまま認識されます。

翻訳した内容で、Geminiと会話をしてくれます。
プロンプトに設定資料を全文入力して
キャラ設定した、Geminiさんと　楽しくお話しできます。

ソースコードも下記参照、

目次

今回も無事に、マルチモーダルLLM　さんと英会話できました。

　032 AI屋さんの　マルチモーダルLLMにトークン全文入力　英会話　streamlit＋Gemini

完成です。おめでとうございます。

ー続くー