📝 この記事は forge.workstyle.tech に掲載した記事の転載です。

音声モデルの学習コーパスを、別のTTSで生成している。同じ話者設定、同じモデル、同じサーバ。それでもクリップごとに音の質感が違う。

具体的には、感情スタイルを切り替えて合成したときに気づいた。喜びスタイルから悲しみスタイルに切り替えると、声色だけでなく音質そのものが変わる。片方は近くで録ったように聞こえ、もう片方はやや遠い。同じ話者が別の部屋で喋っているような違和感がある。

原因は学習素材だった。コーパスのクリップが、生成条件ごとに違う周波数特性を持っていた。

なぜ質感が変わるのか

このコーパスは、感情ごとに違う参照音声（アンカー）を使って生成している（品質ゲートを厳しくするほど、棒読みが生き残る）。

joy の本文     → joy用アンカーを参照に生成
sadness の本文 → sadness用アンカーを参照に生成
anger の本文   → anger用アンカーを参照に生成

参照音声が違えば、TTSはその参照の声色だけでなく音響特性も真似る。アンカー自体が別々に生成されたものなので、それぞれ微妙に違うスペクトル形状を持っている。結果、感情グループごとに音の質感がずれる。

さらに極端演技（絶叫、爆笑など）の素材は、そもそも音圧のレンジが違う。並べて学習させると、モデルは「このスタイルのときは音が遠い」まで一緒に覚えてしまう。

人間の録音なら同じマイク・同じ部屋で録るので起きない問題が、生成音声では起きる。TTSは録音環境という概念を持たないので、条件が変わればチャンネル特性も変わる。

LTASを揃える

対処は、学習前に全クリップを共通の周波数特性へ寄せることだった。

LTAS（Long-Term Average Spectrum、長時間平均スペクトル）は、音声全体を平均した周波数分布のこと。話者性や部屋の特性を反映する。これを基準に合わせる。

手順はこうなる。

コーパス全体、あるいは基準となるクリップ群からLTASを求めて基準スペクトルにする
各クリップのLTASを求め、基準との差分を計算する
その差分を打ち消すEQを各クリップに適用する
最後にRMSを揃える

def match_ltas(wav, ref_ltas, max_gain_db=10.0):
    """クリップのLTASを基準へ寄せる(±max_gain_db でクリップ)"""
    spec = stft(wav)
    ltas = np.mean(np.abs(spec), axis=1)              # 時間方向に平均

    gain_db = 20 * np.log10((ref_ltas + eps) / (ltas + eps))
    gain_db = np.clip(gain_db, -max_gain_db, max_gain_db)   # 極端な補正を防ぐ
    gain    = 10 ** (gain_db / 20.0)

    spec = spec * gain[:, None]
    return istft(spec)

±10dBでクリップする理由

補正量に上限を置いた。無制限にすると、元のクリップに存在しない帯域を無理に持ち上げることになる。そこには信号がなくノイズしかないので、ノイズだけが増幅される。

特に高域は、生成音声だと8kHz以上がほとんど無いクリップがある。そこを基準に合わせようとすると、サーというノイズが乗る。±10dBに制限すれば、寄せきれなくても破綻はしない。

ゼロ位相で処理する

EQをかけるとき、位相を動かさないようにした。通常のフィルタは群遅延を持つので、帯域ごとに時間がずれる。人間の耳には分かりにくいが、学習素材としては望ましくない。

STFTの振幅だけを操作して位相をそのまま残すか、フィルタを前後両方向にかけて位相の回転を打ち消す（filtfilt相当）。今回は前者を採った。

最後にRMSを揃える

周波数特性を揃えたら、音量も揃える。

def normalize_rms(wav, target_dbfs=-20.0):
    rms = np.sqrt(np.mean(wav ** 2))
    gain = 10 ** (target_dbfs / 20.0) / (rms + 1e-9)
    return np.clip(wav * gain, -1.0, 1.0)

−20dBFSに揃えた。ピークではなくRMSで揃えるのがポイントで、ピーク正規化だと1発の大きな音（絶叫の頭など）に引っ張られて、全体の音量がばらつく。

効果

感情スタイルを切り替えたときの音質の飛びが消えた。これが第一の目的だった。

そして予想外の副作用があった。極端演技の素材が学習可能になった。

正規化前は、絶叫のクリップを学習させると全体が荒れる傾向があった。音圧が飛び抜けていて、スペクトルも他と違うので、モデルがそれを「別の何か」として扱いにくかったのだと思う。

正規化後は、絶叫の時間構造（ピッチが急激に上下する掃引のような動き）が学習に乗るようになった。音圧とスペクトルの違いが取り除かれて、残った「動き」の情報がモデルに届いた、という理解をしている。

つまり正規化は「揃えて情報を捨てる」処理に見えて、捨てるべき情報（チャンネル特性）を捨てることで、残すべき情報（韻律の動き）を際立たせる働きをしていた。

どこまで揃えるか

やりすぎると別の問題が出る。

話者性まで消える危険がある。 LTASには話者の声道特性も含まれるので、強く揃えると声の個性が薄まる。今回は同一話者のコーパス内で揃えているので問題にならなかったが、複数話者を混ぜる場合は注意が要る。

感情の音響的特徴も一部は周波数に出る。 怒りは高域が強く、悲しみは弱い、といった傾向がある。完全に揃えるとこれが消える。±10dBの制限は、この意味でも効いていた。強い補正がかからないので、感情由来の差はある程度残る。

基準をどう決めるかも判断が要る。今回はコーパス全体の平均を使ったが、「一番良い状態のクリップ群」を基準にする選び方もある。平均だと、悪い素材が多いときに基準自体が引きずられる。

実装上の注意

処理は学習の直前に一括でやる。 生成時に1本ずつ正規化すると、基準スペクトルが決まる前に処理することになる。全部揃ってから、まとめて通す。

元のクリップは残す。 正規化はやり直しが効くようにしておく。パラメータ（上限dB、目標RMS）を変えて再学習したくなることがある。

正規化後の音を聴く。 数値上は揃っていても、聴くとノイズが乗っていたり不自然だったりすることがある。特に補正量が上限に張り付いたクリップは要確認だ。

# 補正量が上限に達したクリップを記録しておく
clipped = np.sum(np.abs(gain_db_raw) >= max_gain_db) / len(gain_db_raw)
if clipped > 0.3:
    logger.warning(f"{clip_id}: 補正量の30%以上が上限に張り付いた(元素材が基準から遠い)")

これが多いクリップは、そもそも他と違いすぎる素材なので、揃えるより除外したほうがいいこともある。

まとめ

生成音声は「録音環境」を持たないので、条件が変わればチャンネル特性も変わる。人間の録音では起きない問題
感情ごとに参照を変えると、感情ごとに音質が変わる。切り替え時の音質の飛びとして現れる
LTASマッチング＋RMS正規化で揃える。補正は±10dB程度に制限し、位相は動かさない
揃えることで、残すべき情報が際立つ。極端演技の時間構造が学習に乗るようになった
揃えすぎない。話者性や感情由来の周波数差まで消える。上限を置くことが品質を守る

シリーズ: 拡散TTSから実用ボイスを量産する

キャプション1行から声を設計し、学習コーパスを製造して、役割別の実用ボイスを量産するまでの記録です。この記事は第2部製造にあたります。

← 前: 学習後に話速は変えられない
→ 次: クリップ1本の粗さが、スタイル全体を嗄れさせる

シリーズ全18本

音質で選んだTTSが、会話には遅すぎた
声をガチャで引く
「ナレーターっぽい声」を24候補から機械に選ばせる
品質ゲートを厳しくするほど、棒読みが生き残る
学習後に話速は変えられない
6. 生成するたび「録音場所」が変わるTTS ← いまここ
クリップ1本の粗さが、スタイル全体を嗄れさせる
AIが「こんにちわー」と伸ばす癖は、どこで身についたのか
「少々」が「しょも」になる — 許可文字リストが日本語を削っていた
ハルシネーション対策のコードが、ハルシネーションの時だけ動かなかった
品質ゲートが許した「3文字」が、モデルの口癖になった
治せる欠陥で候補を落としていた
文字起こしでは見つからない欠陥がある
70分かけた学習素材が、ネットワークの一瞬の瞬きで消えた
"ja" を "JP" と書いて喃語モデルができるまで
登録経路が4つ、管理画面が0
デプロイのたびに互いの成果を消していた
測れていないものを閾値で追い込むと、必ず失敗する

知見の元になったノートは拡散TTSから実用ボイスを量産する製造パイプラインにまとめてあります。

元記事: https://forge.workstyle.tech/blog/tts-changes-recording-room-every-time/?utm_source=qiita&utm_medium=crosspost&utm_campaign=tts-changes-recording-room-every-time