📝 この記事は forge.workstyle.tech に掲載した記事の転載です。

キャプション1行から声を設計し、学習コーパスを自動で作り、役割専用ボイス12本（ナレーター／カウンセラー／営業／プレゼンター／オペレーター／MC の男女）を全数検収に通すまでの記録です。約1か月の実作業で踏んだ失敗を、18本の記事に分けて書きました。この記事はその目次です。

先に結論

声の設計と、声の製造と、声の運用は、別の技術で別の失敗をする。

そして最大の教訓は一点に尽きます。品質ゲートは「あること」と「効いていること」が別。この18本のうち6本は、ゲートが存在したのに効いていなかった話です。

読む順

設計 → 製造 → 検査 → 運用の順に並べています。上から読むと、1本の声が生まれて工場に乗るまでを辿れます。

音質で選んだTTSが、会話には遅すぎた
RTF実測2.5倍差。「声の設計は拡散TTS、喋らせるのは学習済みモデル」という二段構えに落ち着くまで。
声をガチャで引く
キャプション＋乱数種で声は決まる。設計値を台帳に残せば、モデルを失っても声は焼き直せる。
「ナレーターっぽい声」を24候補から機械に選ばせる
全候補を聴くのは続かない。話速・抑揚・安定性を自動計測して、上位だけ聴く。指標の限界で男性候補が全滅した話も。

品質ゲートの設計に興味があるなら → 4番（選択バイアス）→ 11番（3文字）→ 13番（STTで見えない欠陥）。この3本で「ゲートがあるのに効かない」の型が一通り揃います。
これから音声モデルを学習させるなら → 15番（罠カタログ）→ 9番（入力が壊れる）→ 5番（話体はコーパスに焼き付く）。
MLOps・製造の話として読むなら → 12番（工程の欠陥と製品の性質）→ 14番（冪等なレジューム）→ 18番（測れていないものを追わない）。

失敗の大半は、モデルでもGPUでもなく、検査の設計で起きていました。ゲートが緩すぎたのではなく、ゲートが測っていないものが製品に焼き付く。しかも音声は、テキストと違って「通ってしまった欠陥」が耳で聞くまで分かりません。

だから最終的に効いたのは、賢いモデルを探すことではなく、何を測っていないかを一つずつ潰すことでした。

知見の元になった作業ノートは拡散TTSから実用ボイスを量産する製造パイプラインにまとめてあります。