背景
英会話の教材（書籍）を購入すると、CDが付属していたり、mp3形式のデータがダウンロードできることってよくありますよね。
私は電車移動中などにその音源を聞いて、英語の勉強をしています。
ただ、聞き取れない単語があったときに、書籍を開くのがとてもめんどくさいです。そもそも満員電車では書籍を物理的に開けない可能性もあります。
電子書籍にすれば解決するのですが、自宅での勉強では圧倒的に紙の書籍が便利なので、電子書籍は購入したくないです。
そこで、mp3に歌詞情報として英文を埋め込めば、スマホだけで勉強を完結できるのでは？と考えました。
Whisperを使ってmp3の音声を認識する
WhisperはOpenAIが公開している音声認識の学習モデルです。
無料で使えて、性能も高そうなのでとりあえずこれを使います。
https://openai.com/ja-JP/index/whisper/
Pythonのライブラリとして公開されており、簡単に使えます。
pip install whisper
mutagenを使ってmp3に歌詞を書き込む
mutagenはPythonでmp3などのメタデータを扱えるライブラリです。
https://mutagen.readthedocs.io/en/latest/
pip install mutagen
ソースコード
import whisper
from mutagen.id3 import ID3, USLT, ID3NoHeaderError
import os
import glob
def transcribe_and_embed_lyrics(mp3_file_path):
"""
MP3ファイルの音声をWhisperで文字起こしし、そのテキストを歌詞として埋め込みます。
"""
try:
print(f"'{os.path.basename(mp3_file_path)}'の音声を処理中...")
# Whisperモデルをロード
# "base"は比較的小さなモデルで、高速に動作します。
# より高精度なモデルとして、"small"や"medium"も選択可能です。
model = whisper.load_model("base")
# 音声ファイルを文字起こし
result = model.transcribe(mp3_file_path, language="en")
text = result["text"]
print("文字起こしが完了しました。")
# 歌詞としてMP3ファイルに埋め込む
try:
tags = ID3(mp3_file_path)
except ID3NoHeaderError:
print("ID3ヘッダーを追加します。")
tags = ID3()
tags.delall('USLT')
tags.add(USLT(encoding=3, lang=u'eng', desc='', text=text))
tags.save(mp3_file_path)
print(f"'{os.path.basename(mp3_file_path)}'に歌詞が埋め込まれました。")
print("文字起こしされたテキスト：")
print(text)
print("-" * 20)
except Exception as e:
print(f"エラーが発生しました: {e}")
def main():
"""
指定されたフォルダ内のすべてのMP3ファイルを処理します。
"""
folder_path = input("mp3が保存されているディレクトリを入力してください: ")
# globモジュールを使ってファイルリストを取得
mp3_files = glob.glob(os.path.join(folder_path, "*.mp3"))
if not mp3_files:
print(f"指定されたフォルダ '{folder_path}' にMP3ファイルが見つかりません。")
return
for file_path in mp3_files:
transcribe_and_embed_lyrics(file_path)
if __name__ == "__main__":
main()
実行結果
例として、私の手元にある「速読速聴・英単語 Basic 2400 ver.4」の音声に対して、上記のプログラムを実施してみます。
上記のソースコードを「transcribe.py」という名前で保存して、実行します。
ディレクトリ名の入力を指示されるので、mp3が保存されているディレクトリを指定します。
指定したディレクトリに存在する全てのmp3ファイルに対して処理が実行されます。
python transcribe.py
mp3が保存されているディレクトリを入力してください: C:\Users\Username\Downloads\basic4_all\honbun
'Ba_001.mp3'の音声を処理中...
文字起こしが完了しました。
'Ba_001.mp3'に歌詞が埋め込まれました。
文字起こしされたテキスト：
One. Good morning. It's a beautiful day. I think so too. Are you our new neighbor? Yes. I just moved in this week. Nice to meet you. I'm Mike. Nice to meet you too. I'm Sue.
--------------------
'Ba_002.mp3'の音声を処理中...
文字起こしが完了しました。
'Ba_002.mp3'に歌詞が埋め込まれました。
文字起こしされたテキスト：
2. Hi Sue. How's it going? Great. I like your bicycle. It's so cool. Thanks. Your bike looks nice too. Yeah. I like it.
--------------------
'Ba_003.mp3'の音声を処理中...
文字起こしが完了しました。
'Ba_003.mp3'に歌詞が埋め込まれました。
文字起こしされたテキスト：
3. I'm leaving for the airport now. And Carol, I really enjoyed our time together. I'll miss you. I'll miss you too, Ben. Please come and visit us again soon. Thanks, Ben. Take care.
--------------------
かなり高い精度で認識できています。
ただ、Ba_003.mp3 の「And Carol」は本当は「Aunt Carol」が正しいです。。。
こんな感じで多少の間違いは生じます。
スマホに入れて見てみる
歌詞情報を埋め込んだmp3ファイルをスマホに保存し、音楽再生アプリから確認してみます。
私の環境は Google Pixel7a (Androd14) で Musicolet と Poweramp の２つのアプリで試してみたところ、歌詞情報が表示されました。
