1
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

アニメーション付きの音声対話システム【exeファイルあり】

Posted at

デモ

exeファイル公開場所

役立つ人

  • 好きなキャラクターの見た目で会話したい人
  • VOICEVOXのキャラと会話したい人

対応環境

  • windows:exeファイルがwindows10,11で動作確認済みです。
  • それ以外:ipynbpythonファイルをご自身のローカル環境で実行してください。(必要なライブラリのインストールコマンドも記載しています)
  • GPUがあるとVOICEVOXでの音声合成が早くなります。(デモ動画はGPUなし)

構成

  • 音声認識:Google Speech Recognition API
  • ChatGPT:gpt-3.5-turbo
  • 音声合成:VOICEVOX API(アプリ版)
  • 立ち絵キャラ:雨晴はう(画像製作者様:縁若そばこ様)

できること

立ち絵を任意のキャラに変更

画像差し替え位置.png

エクスプローラーでダウンロードしたフォルダのresourcesフォルダにある雨晴はう立ち絵ver1.20_n.png雨晴はう立ち絵ver1.20_u.pngのファイル名は変更せずに、ファイルの中身だけ差し替えてください。その後にアプリを起動すると立ち絵が更新されます。

画像差し替えスクショ.png

任意のVOICEVOXのキャラに声を変更

speaker_id:60
現在(2023/6/4)変更できる声の一覧は以下の通りです。

キャラクター名 モード ID
四国めたん ノーマル 2
四国めたん あまあま 0
四国めたん ツンツン 6
四国めたん セクシー 4
四国めたん ささやき 36
四国めたん ヒソヒソ 37
ずんだもん ノーマル 3
ずんだもん あまあま 1
ずんだもん ツンツン 7
ずんだもん セクシー 5
ずんだもん ささやき 22
ずんだもん ヒソヒソ 38
春日部つむぎ ノーマル 8
雨晴はう ノーマル 10
波音リツ ノーマル 9
玄野武宏 ノーマル 11
玄野武宏 喜び 39
玄野武宏 7ツンギレ 40
玄野武宏 悲しみ 3
白上虎太郎 ふつう 12
白上虎太郎 わーい 32
白上虎太郎 びくびく 33
白上虎太郎 おこ 34
白上虎太郎 びえーん 35
青山龍星 ノーマル 13
冥鳴ひまり ノーマル 14
九州そら ノーマル 16
九州そら あまあま 15
九州そら ツンツン 18
九州そら セクシー 17
九州そら ささやき 19
もち子さん ノーマル 20
剣崎雌雄 ノーマル 21
White ノーマル 23
White たのしい 24
White かなしい 25
White びえーん 26
後鬼 人間ver 27
後鬼 ぬいぐるみ 28
No.7 ノーマル 29
No.7 アナウンス 30
No.7 読み聞かせ 31
ちび式じい ノーマル 42
櫻歌ミコ ノーマル 43
櫻歌ミコ 第二形態 44
櫻歌ミコ ロリ 45
小夜/SA ノーマル 46
ナースロボ ノーマル 47
ナースロボ 楽々 48
ナースロボ 恐怖 49
ナースロボ 内緒話 50
†聖騎士 紅桜† ノーマル 51
雀松朱司 ノーマル 52
麒ヶ島宗麟 ノーマル 53
春歌ナナ ノーマル 54
猫使アル ノーマル 55
猫使アル おちつき 56
猫使アル うきうき 57
猫使ビィ ノーマル 58
猫使ビィ おちつき 59
猫使ビィ 人見知り 60

キャラの人格を変更

change_persona:人格の設定文
以下の観点で設定文を作るといいかもしれません。

  • エージェントの役割:女の子として、妹として、友達として
  • ユーザーの役割:恋愛的に好きな相手に対して、友達に対して
  • 口調:ため口で、敬語で
  • 長さ制限:二言で、20文字で

例:メイドとして、ご主人様に対して敬語で20字以内で返答をしてください。

今後の開発予定

  • Unityへ移植
  • 以下のアニメーションの追加
  • 応答文に対応した感情変化
  • 口形素に応じた口パク
  • 周期的な目閉じ
  • ユーザの発話に対応した頷き・相槌
  • 様々なタイプのUI

参考記事

1
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
2

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?