歌詞中の括弧と発音
歌詞付き自動採譜ライブラリ soramimic-score を開発しています。音源だけから歌詞と音符を推定するほか、歌詞を指定して解析することもできます。
歌詞を指定すると表記の誤認識は減らせますが、書かれた文字を発音へ変換する必要は残ります。例えば、行内の括弧がふりがなを表す場合、本文と括弧内の文字を両方読むと、歌われていない発音まで加えてしまいます。
Creepy Nutsの「オトノケ」には、次の表記があります。
禁(パン)后(ドラ)
出典:Creepy Nuts「オトノケ」歌詞(作詞:R-指定)
ここは合わせて「パンドラ」と読みます。しかし、漢字と括弧内のかなをそれぞれ辞書で読み上げると、漢字の読みが余分に付きます。この二重読みを避けるため、音源と歌詞の両方を使って括弧の意味を判定する処理を作りました。
括弧の表記だけでは決まらない読み
「漢字の後ろに括弧付きのかながあれば、それを読みとして使う」というルールなら、単純なふりがなには対応できます。ただし、歌詞の括弧には、コーラスや応答を表すものもあります。
例えば、米津玄師の「KICK BACK」には、同じフレーズを括弧の外と中に書いた箇所があります。
(ハッピー ラッキー こんにちはベイビー)
出典:米津玄師「KICK BACK」歌詞(作詞:米津玄師)
こうした括弧を直前の本文の読みとして一律に置き換えると、歌われている内容を消してしまいます。
ふりがなの場合も、読みを付ける本文の範囲を決める必要があります。直前の一文字に付くとは限らず、複数の漢字や送り仮名を含む語に対応することもあるためです。
辞書との一致だけでも判定できません。辞書にある読みだけをふりがなと見なすと、歌詞特有の当て読みを取りこぼします。逆に、辞書と同じ読みでも、本文と括弧内を二度歌っている場合があります。
表記と発音を照合するための音声認識
括弧の意味を判定する手掛かりとして、入力歌詞と音声認識の結果を比較します。soramimic-scoreは以前から、歌詞入力時にも Whisper で歌唱区間を探し、入力歌詞と対応付けています。その認識結果を、ふりがなの解釈にも使います。
通常のWhisperが「パンドラ」と認識していれば、漢字とふりがなを全部読む候補より、ふりがなだけを読む候補が認識結果に近くなります。この場合は、認識文から読みを区別できます。
一方、漢字の認識結果だけでは、複数の読みを区別できない場合があります。桑田佳祐の「明日晴れるかな」にある次の表記が、その例です。
運命(さだめ)
出典:桑田佳祐「明日晴れるかな」歌詞(作詞:桑田佳祐)
Whisperが「運命」と書き起こした場合、認識文を辞書で「ウンメー」に変換しても、そう歌われた根拠にはなりません。認識文には「ウンメー」と「サダメ」を区別する情報がないためです。
このような箇所の発音を調べるため、日本語音声を直接カタカナ列へ書き起こす KanaWhisper も使います。通常のWhisperで判断できる箇所はそこで決め、解釈が残る箇所を原音と分離ボーカルのKanaWhisperで比較します。
括弧の解釈と読みの選択
入力歌詞に対応する音声区間
音源をWhisperで認識し、入力歌詞と認識結果の対応を取ります。改行位置は一致するとは限らないので、複数行をまとめて照合することもあります。
本文側の表記と、ふりがなとして解釈した場合の表記を、位置を探す手掛かりに使います。
本文と括弧から作る読み候補
読み候補の生成には、soramimic-yomi とUniDic Liteを使います。漢字を含む語にかなの括弧が隣接している場合、主に次の三通りを比較します。
| 解釈 | 候補に含める発音 |
|---|---|
| ふりがな | 括弧内のかなだけを読む |
| 本文の読み | 本文側の辞書読みだけを読む |
| 両方を歌う | 本文の辞書読みと括弧内のかなを続けて読む |
括弧内のかなは、辞書にない読みでも候補に残します。ふりがなが対応する本文の範囲も、形態素の境界を使って複数用意します。
候補は、比較のためにモーラ列へ変換します。モーラは「キャ」「ン」などの発音の単位で、「パンドラ」なら パ・ン・ド・ラ の四つです。
連続する二つの括弧についても、もう一方の解釈を文脈の候補に含めて比較します。このため、一文字ずつ読みが付いた表記を、つながった一つの発音として照合できます。
通常のWhisperとの比較
Whisperの認識文も辞書で読みへ変換し、候補と同じモーラ列にします。認識文から複数の読みが得られる場合は、その違いも考慮します。
候補と認識結果の比較には、動的計画法によるモーラ単位の編集距離を使います。対象語と前後の歌詞を含めて比べ、他の解釈より明確に支持される候補を選びます。同点や根拠の弱い場合は保留します。
例えば、認識結果が「パンドラ」なら、漢字の辞書読みまで足した候補には対応しない音が余ります。その余分な音も編集距離に含まれるため、ふりがなだけを読む候補が有利になります。
入力と同じ漢字が認識され、当て読みを区別できない箇所は、次のKanaWhisperで比較します。
KanaWhisperによる追加の比較
通常のWhisperだけでは決められなかった括弧については、対応区間のKanaWhisperの結果を使います。原音とHTDemucsで分離したボーカルの両方を認識し、利用できる各音声で候補が支持されるかを確認します。
「運命」の例では、辞書読みの「ウンメー」、括弧内の「サダメ」、両方を続けた読みを比較します。漢字表記からは分からない発音の違いを、音から得たカナ列で確認します。
比較は、前後を含むモーラ列全体の距離を優先します。KanaWhisperの認識区間には余分な前後が入るため、部分列としての一致も補助的に使います。短い候補が一部分に一致しただけで有利にならないようにしています。
選択結果と保留箇所の扱い
ふりがなと判断した箇所は、内部では明示的なルビへ変換します。その後の辞書処理で、漢字とかなを再び二重に読まないようにするためです。
両方を歌うと判断した場合は、括弧を残して両方の発音を保持します。判断できない場合も括弧を残すので、ふりがなの箇所に本文の辞書読みが余分に付くことがあります。
次の図は、通常のWhisperで決められる場合と、KanaWhisperで追加の比較をする場合の分岐を示しています。
評価の対象と判定基準
公開歌詞に括弧付きの読みがあるJ-POPを選び、曲全体の音源と既知の歌詞を入力して、対象箇所の読み選択を確認しました。
| 曲 | 対象のふりがな | 確認した範囲 |
|---|---|---|
| Aimer「残響散歌」 | 5箇所 | 全曲解析から最終Score出力まで |
| 桑田佳祐「明日晴れるかな」 | 5箇所 | 全曲解析から最終Score出力まで |
| Creepy Nuts「オトノケ」 | 2箇所 | 全曲入力による読み選択と強制整列まで |
歌詞の出典:「残響散歌」(作詞:aimerrhythm)、「明日晴れるかな」(作詞:桑田佳祐)、「オトノケ」(作詞:R-指定)。「オトノケ」の隣接する二つの括弧は、二つの判定対象として数えています。
通常の認識にはWhisper large-v3、カナ認識には sbintuitions/kana-whisper を使いました。入力歌詞の自動追加・削除は無効にしています。
正解の判定対象は、括弧が付いた範囲の読みです。期待した読みを割り当て、漢字の辞書読みを余分に残していない場合を「選択できた」としました。保留は未解決として数えます。
読み選択の結果
全曲入力での選択と保留
| 曲 | 対象数 | 期待した読みを選択 | 保留 | 選択の根拠 |
|---|---|---|---|---|
| 残響散歌 | 5 | 4 | 1 | 通常Whisperで4箇所 |
| 明日晴れるかな | 5 | 3 | 2 | 通常Whisperで1箇所、KanaWhisperで2箇所 |
| オトノケ | 2 | 2 | 0 | 通常Whisperで2箇所 |
| 合計 | 12 | 9 | 3 | 通常Whisperで7箇所、KanaWhisperで2箇所 |
「オトノケ」では、通常Whisperの認識結果から二つの読みを選び、合わせて「パンドラ」が一回だけ残りました。
また、「明日晴れるかな」の当て読みでは、KanaWhisperを使うことで「サダメ」を選べました。
保留したのは、次の三箇所です。
| 曲 | 対象 | 保留理由 |
|---|---|---|
| 残響散歌 | 音に「ね」が付く箇所 | 候補の支持が同点で、解釈を一つに絞れなかった |
| 明日晴れるかな | 生命に「いのち」が付く箇所 | 認識結果との一致が基準に届かなかった |
| 明日晴れるかな | 引用符内の明日に「あした」が付く箇所 | 原音と分離ボーカルの支持が一致しなかった |
二度歌う箇所を残すための対照
二度歌う部分をふりがなと誤認しないかを調べるため、「KICK BACK」で短い語を二度歌う区間を使いました。冒頭に挙げた公開歌詞の例とは別に、二回目だけを括弧に入れたテスト用の歌詞を作りました。
約5秒の区間で解析したところ、KanaWhisperの結果から「両方を歌う」候補が選ばれ、二回分の発音が保持されました。
今後の課題
今後は、ふりがなとコーラスや反復の例を増やし、余分な読みが残る場合と、歌詞を誤って消す場合の両方を評価していきます。