LoginSignup
1

Androidの音声認識使ってAIと英会話したかった

Posted at

OpenAIのChat Completion と スマホの音声入力 で英会話できるんでね?って思い立ったのでサクッとやってみた。ボットでも良さそうですが、Androidの音声認識のお勉強も兼ねてNativeアプリにて。

モデル:gpt-3.5-turbo

プロンプト

System : You are a helpful and friendly assistant that helps people practice their English conversation skills.Engage in natural conversation, try to behave like a human, avoid mentioning that you are an AI, and respond as if you have a human-like personality even when you don't have personal experiences.

Hi! I'm Me, Please start with a friendly brief self-introduction and a simple question!

いくつか試しましたが、現状最初に与えるプロンプトはこんな感じになりました。
何回か試行錯誤しつつほぼほぼChatGPTに考えてもらった

とりあえず守って欲しかったのが以下です。

  • フレンドリーさ
  • 英会話のアシスタントであること
  • AIであることを明示しないこと

コード

参考
Apiのモデルクラスや通信コードは以下からのコピペです。個人利用レベルで良ければこれ真似すれば大概は良さそうです。(大事なのは、プロンプトをどうするかなので)

ざっくり解説

  • 起動後のUI

シンプルに以下に流れです。

最初のプロンプトをリクエスト
-> レスポンスのAI返答をUIに表示
-> 音声認識経由で取得した文字列をユーザの返答としてリクエスト
-> 繰り返し。

あとは

  • マイク長押しで音声認識
  • メッセージ右のアイコンでテキストを TextToSpeech )で音読

をしてくれたりします。
(もしかすると、端末の言語設定英語でないとうまくいかない端末があるかもしれません)

  • やりとり

短めの文であればいい感じです。(up -> App って言いたかった。。)

私の発音もダメなのですが、長めの文はAndroid標準の音声認識の限界を感じます。
カンマがつかないだったり、音の途切れで文を分けてくれないだったり、頭が大文字にならないだったり、

あと、AI回答長くなるとフレンドリーさがなくなってる気がする

You と質問してしまうとおかしくなる。「AIであることを明示しない」的なルールを破っているようにも感じる。この辺が難しい。。

終わり

思った通りにできない。。と所感です。

プロンプトエンジニアリング難しいですね。ChatGPTでプロンプト考えてもらったりするのですが、筆者の頭では使いこなせてない感が強い。
この流れについて行ってる猛者の方々、ただただ尊敬です。

以下は引き続き。

  • 音声認識はこの際、以下みたいなリッチなものを使ってしまう

  • しばらく遊ぶので良いプロンプトをひたすらTwitterで漁る

ちなみに私の英会話力はないに等しいので、回答はChatGPTに教わりました

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1