Montreal Forced Alignerを使って音素アライメントをしてみた

はじめに

研究に使用しているデータセットに 音素ラベル が含まれていなかったため、Montreal Forced Aligner (MFA) を使って音素アライメントを試してみました。

データセットには、各発話に対応する .wav ファイルとその発話内容.txtが含まれていますが、音素ラベルが付与されていないため、MFAで音声データとテキストデータを基にアライメントを試してみました。

環境構築

環境構築には、GitHubで提供されているDockerfileを使用しました。

git clone https://github.com/MontrealCorpusTools/Montreal-Forced-Aligner.git
cd Montreal-Forced-Aligner
docker build -t mfa-aligner .

docker runの際にはデータセットのディレクトリをマウントします。

音素辞書の作成

音素アライメントを行うには、まず音素辞書が必要です。これはg2p（Grapheme-to-Phoneme）モデルを使って作成しました。.wavファイルと同じディレクトリに発話ラベル.txtファイルも配置します。音声.wavに対する発話ラベル.txtのファイル名は同じになるようにします。

以下のコマンドを使用して、英語のg2pモデルをダウンロードし、音素辞書を作成しました：

# g2pモデルのダウンロード
mfa model download g2p english_us_mfa

# 音素辞書の作成
mfa g2p /path/to/wav english_us_mfa /output/path/hoge.txt

音素アライメントの作成

音素辞書と音声ファイルを用意したら、次は実際の音素アライメントを行います。以下のステップで進めました：

音響モデルのダウンロード：

mfa model download acoustic english_mfa

音素アライメントの実行：

mfa align /path/to/wav /hoge.txt english_mfa /output/forcedalign

このコマンドでは、先ほど作成した音素辞書（hoge.txt）を使用しています。

まとめ

Montreal Forced Alignerを使用することで、既存のWAVファイルに対して音素アライメントを行うことができました。