1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

pydomino を使用した歌唱コーパスの自動ラベリング

1
Last updated at Posted at 2026-10-28

はじめに

NNSVS 用の自作の歌唱コーパスのラベリングに対して、 Julius, SHIRO, Montreal-Forced-Aligner などを試してきましたが、今回 Dwango Media Village が作成した pydomino を使用し良好な結果を得たので報告します。

歌唱コーパスに使用する際の留意点・工夫

pydomino は話し言葉で学習されたモデルであり、そのまま使用すると以下の問題が生じます。

  1. 長い母音や長い休符で整列が崩れ、境界が数秒ずれる。
  2. 使用する音素の語彙が NNSVS と微妙に異なる (pydomino には br が無いなど)

一方歌唱には楽譜があり、各音素の発声タイミングは楽譜にある程度制約されます。今回は pydomino を直接使うのではなく、学習済み ONNX モデル (phoneme_transition_model.onnx) を onnxruntime で呼び出し、音素の遷移確率に楽譜の制約を加えて推定精度を高めます。

方法

1. 楽譜から音素列と基準時刻を作る

NNSVS で使用することが前提のため、 MusicXML または UST が既に存在する想定です。 MusicXML であれば pysinsy を、 UST であれば utaupy を使用して、楽譜から単音素ラベルファイルを作ります。

楽譜から生成した単音素ラベルファイルは、子音と母音の開始・終了時刻が共有されます。音素列はそのまま使い、時刻は各音素の「基準時刻」として使います。

2. pydomino の ONNX モデルを直接呼ぶ

pydomino に同梱の学習済み ONNX モデル (phoneme_transition_model.onnx) を onnxruntime で直接実行します。
入力は 16kHz の波形で、 10ms フレームごとに次の 2 つが得られます。

  • 音素遷移トークン (a → k など 556 種) の対数確率
  • blank の対数確率
sess = ort.InferenceSession(model_path, providers=["CPUExecutionProvider"])
tr, bl = sess.run(["transition_logprobs", "blank_logprobs"],
                  {"input_waveform": wav16k[None].astype(np.float32)})
tr, bl = tr[0], bl[0]  # (T, 556), (T,)

音素列が N 個なら音素の切り替わり (遷移) は N - 1 回です。pydomino 本体は、各遷移をどのフレームで起こすかを順番どおりに 1 フレームずつ Viterbi で選び、選んだフレームを音素境界とします (前の遷移とは最低 3 フレーム空けます)。選ばなかったフレームは blank (切り替わりなし) とみなすので、スコアは「選んだフレームの遷移の対数確率 + 残りのフレームの blank の対数確率」です。これは「選んだフレームでの (遷移 - blank) の合計」に定数を足したものと同じなので、以下では遷移 - blank を各フレームのスコアとします。

今回はこの Viterbi を numpy で書き直し、スコアに楽譜の制約を足します。

3. 楽譜の時刻で Viterbi を制約する

遷移 k (音素 k の開始) をフレーム t に置くスコアを次のようにします。

  • 基本は、遷移の対数確率から blank の対数確率を引いた値
  • 楽譜の基準時刻 ak からのずれ d = t - ak に対して、ラプラス分布の事前分布 -α|d - μ| / s を加える
  • d が許容窓 [lo, hi] の外なら -∞ にする
# K: 遷移の数, T: フレーム数, trans_id[k]: 遷移 k の語彙 ID, anchor[k]: 基準時刻 [s]
base = tr - bl[:, None]
E = np.empty((K, T))
for k in range(K):
    e = base[:, trans_id[k]].copy()
    d = np.arange(T) / 100 - anchor[k]
    e -= ALPHA * np.abs(d - mu[k]) / SCALE       # ALPHA=2, SCALE=0.1s
    e[(d < lo[k]) | (d > hi[k])] = -np.inf       # 許容窓
    E[k] = e

def viterbi(E, nmin=3):
    """E[k, t] = 遷移 k をフレーム t に置くスコア。各遷移は前の遷移から nmin フレーム以上後。"""
    K, T = E.shape
    D = np.full((K, T), -np.inf); BP = np.zeros((K, T), int)
    D[0] = E[0]
    idx = np.arange(T)
    for k in range(1, K):
        runmax = np.maximum.accumulate(D[k - 1])
        arg = np.maximum.accumulate(np.where(D[k - 1] == runmax, idx, 0))
        D[k, nmin:] = E[k, nmin:] + runmax[:-nmin]
        BP[k, nmin:] = arg[:-nmin]
    t = int(np.argmax(D[-1])); ts = [t]
    for k in range(K - 1, 0, -1):
        t = BP[k, t]; ts.append(t)
    return ts[::-1]

μ・ lo ・ hi は、楽譜と実際の音素の発声開始時刻の差の分布で、

  • μ = 中央値
  • lo ・ hi = 0.5 〜 99.5 パーセンタイルの外側に 0.1 秒ずつ余裕を足した範囲

を表します。今回は手作業で整列済みの既存ラベル (約 13,100 音素、約 47 分 (うち歌唱 34 分)) があり、そこから音素の種類と音符内の位置ごとに集計して決めました。

import numpy as np
from collections import defaultdict

VOWELS = set("a i u e o N".split())

def kind_of(ph):
    if ph in VOWELS:
        return "V"
    if ph in ("pau", "br"):
        return "pau"
    return "cl" if ph == "cl" else "C"

def estimate_prior(pairs, margin=0.1):
    """pairs: [(楽譜から作ったラベル, 手作業で整列したラベル), ...]
    各ラベルは [(開始秒, 終了秒, 音素), ...] で、音素列は同じもの。"""
    d = defaultdict(list)
    for score, aligned in pairs:
        for i in range(1, len(score)):
            # 楽譜ラベルでは同じ音符の子音と母音が開始時刻を共有する
            first = score[i - 1][0] != score[i][0]
            if score[i][2] == "br" and not first:  # 音符末尾のブレス: 音符の終わりが基準
                d[("br", "note_end")].append(aligned[i][0] - score[i][1])
            else:
                key = (kind_of(score[i][2]), "first" if first else "inner")
                d[key].append(aligned[i][0] - score[i][0])
    prior = {}
    for key, v in d.items():
        lo, hi = np.percentile(v, [0.5, 99.5])
        prior[key] = (np.median(v), lo - margin, hi + margin)  # (μ, lo, hi)
    return prior
種類 μ 窓 [lo, hi] (秒)
音符先頭の母音 -0.02 [-0.33, +0.36]
音符内の母音 (子音の後) +0.02 [-0.29, +0.43]
音符先頭の子音 -0.05 [-0.38, +0.36]
音符内の子音 +0.07 [-0.14, +0.58]
促音 cl +0.14 [-0.21, +0.61]
休符 -0.01 [-0.46, +0.47]
音符末尾のブレス (音符の終わりが基準) -0.25 [-0.68, +0.08]

また事前分布の強さは α/s の比だけで決まるので、 s=0.1 秒に固定して α を掃引したところ、 α = 2 〜 4 で 100ms 超の割合がほぼ同じ (3.5 〜 3.7%) だったので、 α=2 にしました (楽譜時刻から 100ms ずれるごとに対数確率で -2 のペナルティ) 。

新規にラベリングする場合は公開されている歌唱コーパス (例えば 東北きりたん歌唱データベースのラベルデータ) から決めると良いと思います。

4. 前処理・後処理

  • ブレス: pydomino の語彙に br が無いため、br は pau として整列します。
    • 楽譜のブレス記号から作られる br (音符の末尾で、次の音素との間に入る) は、音符の開始ではなく終わりを基準時刻にします。
  • 語彙に無い子音連続: Sinsy(pysinsy も同様)は歌詞に「’」(U+2019)を付けると母音を脱落でき(例: 「す’た」→ s t a)、s → t のような子音連続が生じます。pydomino の語彙にはこうした遷移が無いため、間に無声化母音(U など)を挟んで整列し、あとで前の子音に吸収します。
  • 閉鎖区間: pydomino は t/k などの閉鎖区間を子音に含めますが、既存の手作業ラベルでは閉鎖区間を前の母音に含めていたため、母音に挟まれた子音の長さを既存ラベルの 90 パーセンタイル (例: k 75ms, t 68ms) で切り詰め、超過分を前の母音に戻しました。

筆者のコーパスでは、ブレスをより細かく制御するため、休符中のブレスも pau と分けて br としています (一般的には休符中のブレスは pau に含めます) 。その場合は、休符とブレスを 1 つの pau として整列し、休符の末尾 min(0.25 秒, 0.6 × 休符長) を br として切り出しました。この表記のままでも評価の数値はほぼ同じでした (50ms 以内 86.3%、 100ms 超 4.4%) 。以下の結果は、一般的な表記 (休符中のブレスを pau に含める) に変換して評価したものです。

結果

既存の手作業ラベル (289 区間、約 13,100 音素、約 47 分) を正解として、隣り合う音素の境界 12,831 個 (= 音素数 - 区間数) の誤差を評価しました。

中央値 50ms 以内 100ms 超 最大誤差
窓・事前分布なし 18ms 85.2% 6.4% 3.58s
窓のみ 18ms 86.2% 5.2% 0.57s
窓 + 事前分布 18ms 87.6% 3.6% 0.70s
  • パラメータの推定と評価には同じデータを使っています。区間を半分に分け、一方で推定して他方で評価すると、 100ms 超は 3.6 〜 4.9% でした。
  • 窓・事前分布なしでは数秒単位で崩れる区間がありましたが、窓を入れると最大誤差 0.7 秒以内に収まりました。
  • いずれも上述の閉鎖区間の処理を含んだ値で、この処理なしでは 50ms 以内 81.5%、 100ms 超 5.9% でした。
  • 新規の 122 区間 (約 3,400 音素) は、すべて自動整列したうえで目視で確認しました。
    • 手で動かした境界は 3,290 個 (= 音素数 - 区間数) のうち 7.2%、50ms を超えて動かしたのは 4.1% でした。
  • 誤差が残りやすいのは、母音の終わり (母音→休符、母音→ブレス) と促音の終わり (促音→子音) でした。

確認には、波形・スペクトログラム・楽譜・自動ラベルを並べ、境界をドラッグで直せる簡単な Web アプリ (Flask + wavesurfer.js) を作成しました。音素列は変えられない仕様にし、楽譜の誤りが見つかったら楽譜側を直して再整列しました。

まとめ

  • pydomino の ONNX モデルを直接呼び、 Viterbi に楽譜時刻の許容窓と事前分布を加えるだけで、歌唱でも実用的な精度の自動ラベルが得られた
  • 窓と事前分布のパラメータは、手作業ラベルがあればそこから決められる
  • 最終的には目視確認が必要だが、手修正は境界の 1 割弱で済んだ
1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?