音ハメ動画制作・自動生成ライブラリまとめ

AIに出してもらった音はめ動画（ビート同期動画）をプログラムで作成、または自動生成するための主要なリソース一覧です。

急にお気に入り音楽の音ハメ動画が見たくなって、自動生成ツールするでも作ろうかなと思ったらもう結構あったので、とりあえず備忘録として。

「AIの書いたやつそのまま記事にしないでね」という注意書きがあることに最近気づいたので、リンク切れなし/説明が適切であることまでは確認・修正しました。

1. 開発者向けコアライブラリ (Python系)

自作のスクリプトで「音響解析 → 動画編集」のパイプラインを構築する際に組み合わせて使用します。

ライブラリ名	役割	特徴・リンク
Librosa	音響解析	BPM、ビート、サビ、音の立ち上がりを検出する標準ライブラリ。 https://github.com/librosa/librosa
MoviePy	動画編集	動画のカット、連結、音声合成、エフェクト追加をコードで制御。 https://github.com/Zulko/moviepy
PyDub	音声操作	音量の正規化、フェードイン・アウト、音声の切り出しに便利。 https://github.com/jiaaro/pydub

2. 「音はめ」に特化した自動生成ツール (GitHub)

特定の動画や音源をインプットして、自動で同期させる機能を持つプロジェクトです。

• BeatSync-Engine
  • 概要: AIを活用して、音楽のビートにフレーム単位で同期した動画を作成するエンジン。
  • リンク: https://github.com/Merserk/BeatSync-Engine
• easy-beat-sync
  • 概要: 写真やビデオクリップをビートに合わせて配置するシンプルな同期ツール。
  • リンク: https://github.com/jort-dev/easy-beat-sync
• tammy
  • 概要: 音楽のパターン（BPMやMIDI等）に合わせて、Stable Diffusionなどの生成AI動画を制御するツール。
  • リンク: https://github.com/fresh-creations/tammy

3. 最新のAI・研究系プロジェクト

音楽の内容（歌詞や雰囲気）を解釈して映像を生成・同期させる高度な試みです。

• AutoMV
  • 概要: 歌詞や音楽構成をマルチエージェントで解析し、一貫性のあるMVを生成する研究プロジェクト。
  • リンク: https://github.com/multimodal-art-projection/AutoMV
• Deforum (Stable Diffusion)
  • 概要: 音楽の音圧（Audio Reactive）によってAI映像の動きをリアルタイムに制御。
  • リンク: https://github.com/deforum/sd-webui-deforum

4. 特殊・アニメーション用途

• Manim
  • 概要: 数学的なグラフや図形を動かすライブラリ。モーショングラフィックスに最適。
  • リンク: https://github.com/ManimCommunity/manim
• BeatSync (Beat Saber Plugin)
  • 概要: ゲームの譜面データと音源を同期させるための仕組み。（参考情報）
  • リンク: https://github.com/Zingabopp/BeatSync

---

自動で生成するなら主に２・３あたりのライブラリなんでしょうが、唯一生成結果サンプルが提示されている sd-webui-deforum の動画の、なんとも言えない悪夢感。

でも、きわだってスター数が多いんですよね…。