【個人開発】音楽生成AIで作った曲から、爆速で歌詞付き動画を作成できるツールを公開しました！

近年、Suno AIやUdio、GoogleのLyriaなどの音楽生成AIのが急速な進化を遂げています。

しかしせっかく作った音楽も、SNSでただ共有するだけではイマイチ魅力が伝わらないことも...

そこで今回、生成した音楽から歌詞動画を作成し、音楽の魅力を高めるツール lyrics-video-creator を個人開発しました。

実際に作成された歌詞動画の例が↓こちらです。

#作品紹介
52ヘルツの叫び (Silent Scream)https://t.co/BKrpIgUiHx

「誰にも理解されない歌に、意味はあるのだろうか？」
世界で一番孤独な旋律が、今、あなたの心に響く。 pic.twitter.com/vRIrXx2RpS

— ぷちくじら | AI MUSICクリエイター (@puchikujira9402) May 10, 2025

このツールを使えば、オリジナル楽曲に同期した歌詞動画を作成し、より多くの人に、より魅力的に音楽を届けることができます。

この記事では、「lyrics-video-creator」の概要と仕組みについてご紹介します。

1. 概要

1.1. 背景

近年、Suno AIやUdioといった音楽生成AIの進化は本当に目覚ましいと感じています。GoogleからもLyriaという新たな音楽生成AIが発表され、誰でも簡単にハイクオリティな楽曲を生み出せる時代が到来しました。しかし、生成した楽曲をSNSなどで共有する際、単に音声ファイルだけでは、他のコンテンツに埋もれてしまいがちです。

そこで重要になるのが、視覚的なアピールです。特に、楽曲のメッセージを伝える歌詞は、動画として表示することで、リスナーの楽曲への没入感を高め、共感を呼びやすくなります。しかし、従来の方法で歌詞動画を制作するには、専門的な動画編集ソフトの知識や、字幕を微調整するなどの煩雑な作業が必要でした。

1.2. 解決策

今回開発した「lyrics-video-creator」は、この課題を解決するために生まれました。このツールは、音楽生成AIによって生成された音楽とテキストを準備するだけで、歌詞のタイミング調整、翻訳（オプション）、そして動画生成までを半自動的に行うことができます。

1.3. 効果

「lyrics-video-creator」を導入することで、以下のような効果が期待できます。

• 歌詞動画制作時間の大幅な短縮: 手作業での編集に比べて、圧倒的な時間効率を実現します。
• 専門知識不要: 動画編集のスキルがなくても、誰でも簡単に歌詞動画を作成できます。
• 魅力的なコンテンツ発信: 生成した音楽をより多くの人に届け、エンゲージメントを高めることができます。
• 多言語対応: 歌詞翻訳機能により、国境を越えてあなたの音楽を届ける手助けをします。

これまで「動画制作はハードルが高い…」と感じていた方も、このツールを使えば、手軽に自分の音楽の価値を高めることができるようになります！

2. 歌詞動画の自動生成の仕組み

2.1. 全体像

動画作成処理は、Pythonをベースとして、Music AI, 生成AI, FFMpegという3つの外部ツールと連携しています。

2.2. ①歌詞のタイミング調整（アラインメント）

まずは、歌詞の各行が音楽のどのタイミングで表示されるべきかを自動で推定します。

ここでは、主に2つの処理が行われています。

• ボーカル音声の抽出: 音楽データからボーカルの音声のみを抽出し、歌詞タイミング推定の精度を向上させます。
• 歌詞タイミング推定: Lyrics-to-Audioという技術を用いて、各行の歌詞が歌われる正確なタイミングを推定します。

この2つの処理については、Music.ai上にワークフローを作成し、API経由でワークフローを呼び出す形で実装しています。

2.3. ②歌詞の翻訳

OpenAI APIを利用して、もとと同じ行数になるように歌詞を翻訳します。
歌詞を翻訳することで、国境を越えて音楽を届けることができるだけでなく、動画自体の魅力も高めることが出来ます。
（英語が分からなくても、英語の字幕が付記されていると何故だかカッコイイと感じますよね）

この部分では、確実に同じ行数が出力されるようにするために、下記のような処理フローを実装しています。

1. プロンプトの中で、翻訳結果が同じ行数になるように指定
2. 翻訳結果が同じ行数でない場合は、Temperatureを上げて再度翻訳

2.4. ③歌詞動画の生成

音楽、タイミング調整（および翻訳）済みの歌詞、そして動画の背景として使用したい画像（JPG形式など）を指定して、動画を生成します。

この部分の処理は、 moviepy（ffmpegのラッパーライブラリ）を用いて実現しています。

3. 今後の展望

「lyrics-video-creator」はまだ生まれたばかりのツールですが、今後さらに使いやすく、高機能にしていきたいと考えています。

• 多彩なアニメーション効果: 歌詞の表示にフェードイン・アウト以外の様々なアニメーション効果の追加。
• 背景動画のサポート: 静止画だけでなく、ループ動画などを背景として利用できるようにする機能。
• AIによる背景自動生成: 楽曲の雰囲気や歌詞の内容に合わせて、AIが適切な背景画像や動画を生成してくれる機能。

4. まとめ

今回は、個人開発した歌詞動画自動生成ツール「lyrics-video-creator」についてご紹介しました。

この記事が、皆さんの音楽ライフを少しでも豊かにするきっかけになれば幸いです。最後までお読みいただき、ありがとうございました！

もしこの記事が少しでも役に立ったと思ったら、ぜひいいねをお願いします！