OpenVoiceとは
OpenVoiceは、リファレンススピーカーの短い音声だけで、その声を複製し、多言語の音声を生成することができる、音声クローニングツールです。
OpenVoiceは、リファレンススピーカーの声色を再現するだけでなく、感情、アクセント、リズム、ポーズ、イントネーションなどの音声スタイルをきめ細かく制御することができます。
また、OpenVoiceは、トレーニングセットに含まれていない言語に対しても、ゼロショットのクロスリンガル音声クローニングを実現します。
（引用元：https://research.myshell.ai/open-voice）
中国語と英語であれば、こちらから気軽に試すことができます。
また、ソースコードはこちらにあります。
Hugging FaceのUI上では、日本語の音声合成が出来ないため、この記事では上のGithubリポジトリ内にあるノートブックを使って、クロスリンガル音声クローニングを行います。
OpenVoiceの仕組みとしては、以下の図解のようになっているようです。
- アクセントや感情、イントーネーションをコントロールしたベーススピーカーの音声を合成
- ベーススピーカーのトーンカラー（声色）を抽出
- リファレンススピーカーのトーンカラー（声色）を抽出
- ベーススピーカーの音声からベーススピーカーの声色のみを消去し、リファレンススピーカーの声色を当てはめる
このようなことを行っていると筆者は解釈しました。
なお、クロスリンガルの音声クローニング（demo_part2.ipynb）では、少し異なります。
1.の部分で、感情等をコントロールすることができません。ベーススピーカーの合成にOpenAIのTTS（Text-to-Speech）を用いているためです。場合によっては自ら録音した音声を用いても良いかもしれません。
moe-speechとは
- 日本人プロ声優による高音質でノイズ・BGM等無しのキャラクター音声データセット（男性・女性キャラクター両方含む）
- 1音声は2-15秒のモノラル44.1kHz 16bit wavファイル
- キャラクターごとにフォルダ分けされている（各キャラクターは匿名化され、ランダムな8文字の英数字による識別子を持つ）
- 現在は合計473キャラクター、約39万の音声ファイル、合計約623時間、184GBの音声が含まれる
- TTS等のタスクに使える質になるよう、機械的に音声の質によりフィルタリング済み
（引用元：https://huggingface.co/datasets/litagin/moe-speech?not-for-all-audiences=true）
今回やること
ざっくり言うと、OpenVoiceのリファレンススピーカーとして、moe-speechの好きな音声を使おうということです。
Amazon PollyやOpenAI TTSは、なかなか流暢な日本語を生成してくれますが、キャラクター（声質）が限られているため、ボイスコミックやオーディオブックを作るには不十分という感じでした。
moe-speechの豊富なデータセットがあれば、狙い通りのキャラクター音声を生成できる可能性が高まります。
こちらの、Obtain Tone Color Embeddingのところを、以下のように書き換えましょう。
base_speaker = f"{output_dir}/openai_source_output.mp3"
source_se, audio_name = se_extractor.get_se(base_speaker, tone_color_converter, vad=True)
#reference_speaker = 'resources/example_reference.mp3' ←元のコード
reference_speaker="../moe-speech/data/1ba0d17b/wav/1ba0d17b_010.wav"
target_se, audio_name = se_extractor.get_se(reference_speaker, tone_color_converter, vad=True)
reference_speakerのパスを、ダウンロードしてきたmoe-speechデータセットの任意の音声ファイルのパスに書き換えます。
そして、その下のtext=[]の中に、生成したい日本語を入れましょう。リストですが、一つだけ入れれば良いです。
以下の文章を入れてみました。桃太郎の冒頭です。
むかしむかし、あるところに、おじいさんとおばあさんが住んでいました。
おじいさんは山へ芝刈りに、おばあさんは川へ洗濯に行きました。
以下にいくつか、リファレンスとクローニングの結果を挙げます。
1)男性
2)女性
ちなみに、同じリファレンスでも試行ごとにクローニングの結果は少し異なります。声質というよりアクセントや速度が変わっています。
いかがでしょうか？多少変わってしまってはいますが、同じ系統であることは確かなようです。
リファレンススピーカーを変えればいくらでも違うキャラクターの音声を生成できるので、オーディオドラマやボイスコミックへの応用が期待出来ます。