はじめに
NNSVS 用の自作の歌唱コーパスのラベリングに対して、 Julius, SHIRO, Montreal-Forced-Aligner などを試してきましたが、今回 Dwango Media Village が作成した pydomino を使用し良好な結果を得たので報告します。
歌唱コーパスに使用する際の留意点・工夫
pydomino は話し言葉で学習されたモデルであり、そのまま使用すると以下の問題が生じます。
- 長い母音や長い休符で整列が崩れ、境界が数秒ずれる。
- 使用する音素の語彙が NNSVS と微妙に異なる (pydomino には br が無いなど)
一方歌唱には楽譜があり、各音素の発声タイミングは楽譜にある程度制約されます。今回は pydomino を直接使うのではなく、学習済み ONNX モデル (phoneme_transition_model.onnx) を onnxruntime で呼び出し、音素の遷移確率に楽譜の制約を加えて推定精度を高めます。
方法
1. 楽譜から音素列と基準時刻を作る
NNSVS で使用することが前提のため、 MusicXML または UST が既に存在する想定です。 MusicXML であれば pysinsy を、 UST であれば utaupy を使用して、楽譜から単音素ラベルファイルを作ります。
楽譜から生成した単音素ラベルファイルは、子音と母音の開始・終了時刻が共有されます。音素列はそのまま使い、時刻は各音素の「基準時刻」として使います。
2. pydomino の ONNX モデルを直接呼ぶ
pydomino に同梱の学習済み ONNX モデル (phoneme_transition_model.onnx) を onnxruntime で直接実行します。
入力は 16kHz の波形で、 10ms フレームごとに次の 2 つが得られます。
- 音素遷移トークン (
a → kなど 556 種) の対数確率 - blank の対数確率
sess = ort.InferenceSession(model_path, providers=["CPUExecutionProvider"])
tr, bl = sess.run(["transition_logprobs", "blank_logprobs"],
{"input_waveform": wav16k[None].astype(np.float32)})
tr, bl = tr[0], bl[0] # (T, 556), (T,)
音素列が N 個なら音素の切り替わり (遷移) は N - 1 回です。pydomino 本体は、各遷移をどのフレームで起こすかを順番どおりに 1 フレームずつ Viterbi で選び、選んだフレームを音素境界とします (前の遷移とは最低 3 フレーム空けます)。選ばなかったフレームは blank (切り替わりなし) とみなすので、スコアは「選んだフレームの遷移の対数確率 + 残りのフレームの blank の対数確率」です。これは「選んだフレームでの (遷移 - blank) の合計」に定数を足したものと同じなので、以下では遷移 - blank を各フレームのスコアとします。
今回はこの Viterbi を numpy で書き直し、スコアに楽譜の制約を足します。
3. 楽譜の時刻で Viterbi を制約する
遷移 k (音素 k の開始) をフレーム t に置くスコアを次のようにします。
- 基本は、遷移の対数確率から blank の対数確率を引いた値
- 楽譜の基準時刻 ak からのずれ d = t - ak に対して、ラプラス分布の事前分布 -α|d - μ| / s を加える
- d が許容窓 [lo, hi] の外なら -∞ にする
# K: 遷移の数, T: フレーム数, trans_id[k]: 遷移 k の語彙 ID, anchor[k]: 基準時刻 [s]
base = tr - bl[:, None]
E = np.empty((K, T))
for k in range(K):
e = base[:, trans_id[k]].copy()
d = np.arange(T) / 100 - anchor[k]
e -= ALPHA * np.abs(d - mu[k]) / SCALE # ALPHA=2, SCALE=0.1s
e[(d < lo[k]) | (d > hi[k])] = -np.inf # 許容窓
E[k] = e
def viterbi(E, nmin=3):
"""E[k, t] = 遷移 k をフレーム t に置くスコア。各遷移は前の遷移から nmin フレーム以上後。"""
K, T = E.shape
D = np.full((K, T), -np.inf); BP = np.zeros((K, T), int)
D[0] = E[0]
idx = np.arange(T)
for k in range(1, K):
runmax = np.maximum.accumulate(D[k - 1])
arg = np.maximum.accumulate(np.where(D[k - 1] == runmax, idx, 0))
D[k, nmin:] = E[k, nmin:] + runmax[:-nmin]
BP[k, nmin:] = arg[:-nmin]
t = int(np.argmax(D[-1])); ts = [t]
for k in range(K - 1, 0, -1):
t = BP[k, t]; ts.append(t)
return ts[::-1]
μ・ lo ・ hi は、楽譜と実際の音素の発声開始時刻の差の分布で、
- μ = 中央値
- lo ・ hi = 0.5 〜 99.5 パーセンタイルの外側に 0.1 秒ずつ余裕を足した範囲
を表します。今回は手作業で整列済みの既存ラベル (約 13,100 音素、約 47 分 (うち歌唱 34 分)) があり、そこから音素の種類と音符内の位置ごとに集計して決めました。
import numpy as np
from collections import defaultdict
VOWELS = set("a i u e o N".split())
def kind_of(ph):
if ph in VOWELS:
return "V"
if ph in ("pau", "br"):
return "pau"
return "cl" if ph == "cl" else "C"
def estimate_prior(pairs, margin=0.1):
"""pairs: [(楽譜から作ったラベル, 手作業で整列したラベル), ...]
各ラベルは [(開始秒, 終了秒, 音素), ...] で、音素列は同じもの。"""
d = defaultdict(list)
for score, aligned in pairs:
for i in range(1, len(score)):
# 楽譜ラベルでは同じ音符の子音と母音が開始時刻を共有する
first = score[i - 1][0] != score[i][0]
if score[i][2] == "br" and not first: # 音符末尾のブレス: 音符の終わりが基準
d[("br", "note_end")].append(aligned[i][0] - score[i][1])
else:
key = (kind_of(score[i][2]), "first" if first else "inner")
d[key].append(aligned[i][0] - score[i][0])
prior = {}
for key, v in d.items():
lo, hi = np.percentile(v, [0.5, 99.5])
prior[key] = (np.median(v), lo - margin, hi + margin) # (μ, lo, hi)
return prior
| 種類 | μ | 窓 [lo, hi] (秒) |
|---|---|---|
| 音符先頭の母音 | -0.02 | [-0.33, +0.36] |
| 音符内の母音 (子音の後) | +0.02 | [-0.29, +0.43] |
| 音符先頭の子音 | -0.05 | [-0.38, +0.36] |
| 音符内の子音 | +0.07 | [-0.14, +0.58] |
| 促音 cl | +0.14 | [-0.21, +0.61] |
| 休符 | -0.01 | [-0.46, +0.47] |
| 音符末尾のブレス (音符の終わりが基準) | -0.25 | [-0.68, +0.08] |
また事前分布の強さは α/s の比だけで決まるので、 s=0.1 秒に固定して α を掃引したところ、 α = 2 〜 4 で 100ms 超の割合がほぼ同じ (3.5 〜 3.7%) だったので、 α=2 にしました (楽譜時刻から 100ms ずれるごとに対数確率で -2 のペナルティ) 。
新規にラベリングする場合は公開されている歌唱コーパス (例えば 東北きりたん歌唱データベースのラベルデータ) から決めると良いと思います。
4. 前処理・後処理
-
ブレス: pydomino の語彙に br が無いため、br は pau として整列します。
- 楽譜のブレス記号から作られる br (音符の末尾で、次の音素との間に入る) は、音符の開始ではなく終わりを基準時刻にします。
- 語彙に無い子音連続: Sinsy(pysinsy も同様)は歌詞に「’」(U+2019)を付けると母音を脱落でき(例: 「す’た」→ s t a)、s → t のような子音連続が生じます。pydomino の語彙にはこうした遷移が無いため、間に無声化母音(U など)を挟んで整列し、あとで前の子音に吸収します。
- 閉鎖区間: pydomino は t/k などの閉鎖区間を子音に含めますが、既存の手作業ラベルでは閉鎖区間を前の母音に含めていたため、母音に挟まれた子音の長さを既存ラベルの 90 パーセンタイル (例: k 75ms, t 68ms) で切り詰め、超過分を前の母音に戻しました。
筆者のコーパスでは、ブレスをより細かく制御するため、休符中のブレスも pau と分けて br としています (一般的には休符中のブレスは pau に含めます) 。その場合は、休符とブレスを 1 つの pau として整列し、休符の末尾 min(0.25 秒, 0.6 × 休符長) を br として切り出しました。この表記のままでも評価の数値はほぼ同じでした (50ms 以内 86.3%、 100ms 超 4.4%) 。以下の結果は、一般的な表記 (休符中のブレスを pau に含める) に変換して評価したものです。
結果
既存の手作業ラベル (289 区間、約 13,100 音素、約 47 分) を正解として、隣り合う音素の境界 12,831 個 (= 音素数 - 区間数) の誤差を評価しました。
| 中央値 | 50ms 以内 | 100ms 超 | 最大誤差 | |
|---|---|---|---|---|
| 窓・事前分布なし | 18ms | 85.2% | 6.4% | 3.58s |
| 窓のみ | 18ms | 86.2% | 5.2% | 0.57s |
| 窓 + 事前分布 | 18ms | 87.6% | 3.6% | 0.70s |
- パラメータの推定と評価には同じデータを使っています。区間を半分に分け、一方で推定して他方で評価すると、 100ms 超は 3.6 〜 4.9% でした。
- 窓・事前分布なしでは数秒単位で崩れる区間がありましたが、窓を入れると最大誤差 0.7 秒以内に収まりました。
- いずれも上述の閉鎖区間の処理を含んだ値で、この処理なしでは 50ms 以内 81.5%、 100ms 超 5.9% でした。
- 新規の 122 区間 (約 3,400 音素) は、すべて自動整列したうえで目視で確認しました。
- 手で動かした境界は 3,290 個 (= 音素数 - 区間数) のうち 7.2%、50ms を超えて動かしたのは 4.1% でした。
- 誤差が残りやすいのは、母音の終わり (母音→休符、母音→ブレス) と促音の終わり (促音→子音) でした。
確認には、波形・スペクトログラム・楽譜・自動ラベルを並べ、境界をドラッグで直せる簡単な Web アプリ (Flask + wavesurfer.js) を作成しました。音素列は変えられない仕様にし、楽譜の誤りが見つかったら楽譜側を直して再整列しました。
まとめ
- pydomino の ONNX モデルを直接呼び、 Viterbi に楽譜時刻の許容窓と事前分布を加えるだけで、歌唱でも実用的な精度の自動ラベルが得られた
- 窓と事前分布のパラメータは、手作業ラベルがあればそこから決められる
- 最終的には目視確認が必要だが、手修正は境界の 1 割弱で済んだ