はじめに

こんにちは、しゅんです。

今回は、Hugging Face で提供されている最先端の TTS (Text-to-Speech) モデル Kokoro-82M について紹介します。

現在、公式の Hugging Face スペースでは体験版のみが公開されており、日本語対応についての仕様はまだ正式に公開されていません。v0.23 で日本語対応の計画が発表されましたが、現時点ではモデルのダウンロードや日本語の利用はできません。

Kokoro-82M とは？

Kokoro-82M は、わずか 82Mパラメータ で高品質なTTSを実現するモデルで、以下の特徴があります：

軽量で高精度：従来のTTSモデルと比較して、少ないデータとパラメータで高い性能を発揮。
オープンソース：Apache 2.0 ライセンスのもとで公開。
英語の対応：アメリカ英語、イギリス英語をサポート。

日本語対応の現状

現在、Kokoro v0.23 は以下の制限が存在します：

日本語対応の正式リリースは未定。
Hugging Face のデモスペースのみで日本語の試験的対応が提供されている。
CJK（中国語、日本語、韓国語）のトークナイザーは英字を適切に処理できないため、英字の削除が必要。

公式の発表によると、日本語対応モデルの正式リリース時期はまだ未定です。

環境構築手順

自分の環境

OS: Ubuntu 24.04
GPU: RTX3080LAPTOP（CUDA対応推奨）

1. 手順（英語モデルのみ対応）

# 仮想環境の作成と有効化
python3 -m venv .venv
source .venv/bin/activate

# Git LFSのインストールとリポジトリのクローン
git lfs install
git clone https://huggingface.co/hexgrad/Kokoro-82M
cd Kokoro-82M

# 依存ライブラリのインストール
sudo apt -qq -y install espeak-ng > /dev/null 2>&1
pip install -q phonemizer torch transformers scipy munch

# オーディオ再生用のツール
sudo apt update
sudo apt install sox

2. Pythonスクリプトの作成（英語用）

以下の内容で test.py を作成します：

import torch
import soundfile as sf
from models import build_model
from kokoimport torch
import soundfile as sf
from models import build_model
from kokoro import generate

# デバイスの設定 (CUDA or CPU)
device = 'cuda' if torch.cuda.is_available() else 'cpu'

# 2️⃣ モデルの構築とボイスパックの読み込み
MODEL = build_model('kokoro-v0_19.pth', device)

VOICE_NAME = [
    'af',  # デフォルトのボイス (Bella & Sarah の50-50)
    'af_bella', 'af_sarah', 'am_adam', 'am_michael',
    'bf_emma', 'bf_isabella', 'bm_george', 'bm_lewis',
    'af_nicole', 'af_sky',
][0]

VOICEPACK = torch.load(f'voices/{VOICE_NAME}.pt', weights_only=True).to(device)
print(f'Loaded voice: {VOICE_NAME}')

# 3️⃣ 音声生成の実行
text = "Hello, my name is Syun. I am a 25-year-old Taiwanese. Let me say this first—I’m quite a strange person. I transitioned from electrical and electronics to AI. Currently planning an RPG game and involved in AI and robotics. I have strong biases and a wide range of hobbies. Nice to meet you!"

audio, out_ps = generate(MODEL, text, VOICEPACK, lang=VOICE_NAME[0])

# 言語は VOICE_NAME の最初の文字に基づいて決定
# 🇺🇸 'a' => American English => en-us
# 🇬🇧 'b' => British English => en-gb

# 4️⃣ 生成された音声の保存と再生
output_audio_path = "output_audio.wav"
sf.write(output_audio_path, audio, 24000)
print("Audio saved as 'output_audio.wav'")

# 音声ファイルを再生 (Windows/macOS/Linux 対応)
import os
if os.name == 'nt':  # Windows
    os.system(f'start {output_audio_path}')
elif os.uname().sysname == 'Darwin':  # macOS
    os.system(f'afplay {output_audio_path}')
else:  # Linux
    os.system(f'play {output_audio_path}')

# 生成された音素の表示
print("Phonemes used in the generation:")
print(out_ps)
print(text)

3. スクリプトの実行

python3 test.py

まとめ

Kokoro-82M は、将来的に多言語対応が期待される TTS モデルですが、現在日本語は利用できず、正式なリリース待ちの状態です。

Hugging Face のデモスペースを通じて、日本語の試験的な音声合成を試すことができますが、モデルのダウンロードは未対応です。今後のアップデートを待ちましょう。

動作

Kokoro-82Mを使って自己紹介しました pic.twitter.com/Vp5W2e60Mj
— SYUN@色々と頑張ってます (@syun88AI) January 20, 2025

参考リンク

最後までお読みいただきありがとうございました！