1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

音合わせをBPMで決め打ちしたら60秒で0.7秒ずれた。AIに渡すべきは"数字"じゃなくて"測ったもの"だった

1
Last updated at Posted at 2026-11-13

3行で

  • 127.6 BPM のクリック音を librosa に読ませたら、tempo は 129.2 と出た。この数字どおりに拍を並べると、60秒で約0.7秒 ずれる
  • 拍の時刻そのものを使えば、ズレは最後まで 最大30ms。合わせるべきは「BPMという数字」ではなく「測った拍」だった
  • AIに動画を作らせるときも同じで、「それっぽい数字や言葉」の代わりに「測ったもの・本物」を渡すと出来が変わる。そのためのルール一式と、この実験を手元で再現するコードを置いておきます

きっかけ:「BPMを決め打ちしない」は本当に要るのか

私は Claude Code で動画を作るとき、CLAUDE.md にこう書いています。

- 曲の拍を実測して beats.json にし、切り替え・文字・効果音を合わせる。BPMで決め打ちしない

書いてはいるものの、「BPMが分かっているなら、それで並べればよくない?」とも思っていました。なので、答えが分かっている音で試しに測ってみました。

実験:答えが分かっている音で測る

条件

  • 127.6 BPM のクリック音を Python で作る(最初の拍は0.37秒目、長さ60秒)
  • librosa の beat_track で、テンポと拍の時刻を検出する
  • 環境は Python 3.15 / librosa 1.0.1(2026年11月に確認)
クリック音を作るコード(make_click.py)
import numpy as np
import soundfile as sf

sr, bpm, offset, dur = 22050, 127.6, 0.37, 60
y = np.zeros(int(sr * dur))
t, i = offset, 0
while t < dur - 0.1:
    n, L = int(t * sr), int(0.03 * sr)
    f = 1500 if i % 4 == 0 else 1000          # 小節の頭だけ高い音
    env = np.exp(-np.arange(L) / (0.005 * sr))
    y[n:n + L] += np.sin(2 * np.pi * f * np.arange(L) / sr) * env
    t, i = t + 60 / bpm, i + 1
sf.write("click.wav", y, sr)
# beats.py  使い方: python beats.py click.wav
import json
import sys

import librosa
import numpy as np

y, sr = librosa.load(sys.argv[1])
tempo, frames = librosa.beat.beat_track(y=y, sr=sr)
beats = librosa.frames_to_time(frames, sr=sr).tolist()

json.dump({
    "tempo_librosa": float(np.atleast_1d(tempo)[0]),  # 参考値。これで合わせない
    "bpm": 60 / float(np.mean(np.diff(beats))),        # 拍の間隔の平均から計算
    "beats": beats,                                    # 拍の時刻(秒)。合わせるのはこれ
    "bars": beats[::4],  # 小節の頭(4/4拍子で、最初に検出した拍が1拍目の場合)
}, open("beats.json", "w"), indent=2)

結果

値
本当のテンポ 127.6 BPM
librosa が返した tempo 129.2 BPM
検出した拍の間隔の平均から計算 約127.6 BPM
検出した拍の時刻と本当の拍のズレ 最大 30ms

beats_drift.png

赤い線が「tempo の 129.2 を信じて、129.2 BPM で拍を並べた」場合です。ズレは1拍ごとに約6msずつたまり、60秒後には約0.7秒。これは1拍半ほどなので、サビの頭に置いたはずの切り替えが拍の裏に落ちます。

青い線は、検出した拍の時刻をそのまま使った場合です。最後まで30ms以内に収まりました。

人間が「だいたい128くらい」と決め打ちしても同じことが起きます。127.6 BPM の曲を 128 BPM として3分並べると、計算上0.56秒ずれます。

もう1つの落とし穴:中央値で計算すると、また 129.2 に戻る

最初は、拍の間隔の 中央値 から BPM を計算していました。外れ値に強いからです。ところが、これもまた 129.2 になりました。

原因は時刻の刻みです。librosa の拍の時刻は、標準設定では約23ms(512サンプル / 22050Hz)刻みで返ってきます。そのため1拍の間隔もこの刻みに丸められ、今回の検出結果では、中央値も 129.2 BPM 相当になりました。全体の傾きを知りたいときは、平均を使います。

tempo も中央値も、それぞれの計算としては間違っていません。どちらも「区切りの粗い値」で、1拍ずつなら気にならない差が、拍を並べると積み重なるという話です。

これはAIに頼むときにそのまま起きる

AIに「BPM 129.2 で切り替えて」と渡せば、AIはふつう、その数字どおりにきっちり並べます。渡された数字が正しいかどうかは、測り直さない限り分かりません。

これは音だけの話ではありません。AIに動画を作らせたときによく出てくる「いつもの感じ」も、同じ形をしています。

AIに渡しがちなもの 何が起きるか 代わりに渡すもの
BPM という数字 少しずつずれる 測った拍の時刻(beats.json)
「かっこよく」「プロっぽく」 中央タイトル+紫のグラデ、全部光る 禁止リストと、数で決めた基準
「この動画っぽく」 雰囲気だけまねる フレーム単位で見て書き出した STYLE.md
素材なし それっぽい四角や丸で代用、数字を盛る 本物のロゴ・色・画面、でっち上げ禁止
「シュッて音を足して」 合成したそれっぽい音か、権利の分からない音 Openverse で探した CC0 / CC BY の録音
「いい感じに弾ませて」 全部ぽよんと弾む ばねの減衰の数値
「できました」をそのまま受け取る 見直されないまま出てくる コマ一覧と、earshot で数字にした音のずれ

左の列は、どれも幅のある言葉か、区切りの粗い数字です。AIはその幅の中で、いちばん無難な答えを選びます。右の列は、測ったものか、読み違えようのないものです。

Lukas Margerie さんは動画「How to Make Insane Motion Graphics With Opus 5.5」で、プロンプトは結果の1割で、9割はルール・素材・手本・音・見直しの足回り だと話しています(末尾の参考を参照)。上の表の右の列が、その足回りにあたります。

ここからは、右の列を1つずつ、そのまま使える形で紹介します。


見た目:「かっこよく」の代わりに禁止リスト

「かっこよく」は幅が広すぎます。一方で「中央タイトル+グラデ禁止」は読み違えようがありません。ありがちな失敗を名指しで禁止する と、AIは無難な答えを選べなくなり、別の案を探しにいきます。

## 禁止事項
- 中央タイトル+ありがちなグラデーション
- 飾りだけの角ラベル・粒子・偽ガラス
- 何でも光らせる・何でも弾ませる
- 拍と関係ない動き

「やること」のほうは数で決めます。

## ビジュアルの基準
- 1フレームに主役1つ+補足+意図した余白
- 書体は見出し1・本文1まで
- 2〜4拍ごとに意味のある変化(それ以外は動かさない)

「余白を大事に」ではなく「主役は1つ」。BPMの代わりに拍の時刻を渡すのと同じで、数えられる形にする のがコツです。

手本:「この動画っぽく」の代わりに STYLE.md

YouTube のリンクを渡せば、Claude Code は手本の動画を見てくれます。ただし中でやっているのは、動画をダウンロードして ffmpeg などで コマ(静止画)に切り分け、その画像を読む ことです。動画をそのまま再生して見ているわけではありません。

つまり、どの間隔で切るかでAIに見えるものが変わります。たとえば30fpsの動画を0.5秒ごとに切ると、AIが見るのは15フレームに1枚だけです。4フレーム(約0.13秒)で終わる切り替えは、写らないことがあります。写ったとしても1枚だけなので、どう動いたかは分かりません。モーショングラフィックスの手本で知りたいのは、まさにその切り替えや文字の出入りなので、フレーム単位で(1フレームも飛ばさずに) 書き出して見せます。

また、見て終わりにすると、次に作るときには何も残りません。なので、気づいたことを STYLE.md に書き出すところまでをセットで頼みます。

# 手本を全フレーム書き出す(30fpsなら1秒で30枚)
mkdir -p frames
ffmpeg -i reference.mp4 -fps_mode passthrough frames/%05d.png

全フレームは枚数が多くなります(30fps・60秒なら1800枚)。最初から全部を読ませるより、切り替えや文字の出入りがある区間を決めて、そこをフレーム単位で見せるほうが現実的です。

# 12秒目から2秒間だけを、フレーム単位で書き出す(30fpsなら60枚)
mkdir -p frames_12s
ffmpeg -ss 12 -t 2 -i reference.mp4 -fps_mode passthrough frames_12s/%04d.png

30fps・10秒のテスト動画で確認すると、全フレームの書き出しは300枚、-ss 4 -t 2 の区間指定は4秒目ちょうどから60枚でした(FFmpeg 9.0.1)。ファイル名の番号は「何フレーム目か」なので、30fpsなら 0031.png が区間の頭から1秒後です。

# STYLE.md(手本から抜き出した文法)
- 色:背景はほぼ黒、差し色は1色だけ
- 書体:見出しは極太ゴシック、本文は細め
- カットの長さ:平均◯秒、サビで半分になる
- 切り替え:前のカットの図形が、そのまま次の背景になる
- 文字の出入り:下からではなく横に流れる
- カメラ:拍の頭で寄る、それ以外は止まる

まねるのは 文法(ルール)だけ です。手本の内容・ロゴ・キャラクターは使いません。
「何秒で切るか」「どう受け渡すか」はまねても、「何を映すか」は自分で決めます。

素材:それっぽい図形の代わりに本物

ロゴ・ブランドカラー・フォント・実際の画面(アプリならスクショ、ゲームなら実際のプレイ映像)を、作り始める前にフォルダへ入れておきます。素材がないと、AIはそれっぽい四角や丸で代用します。

project/
  assets/
    logo.svg
    colors.json     ← {"primary": "#...", "accent": "#..."}
    fonts/
    screens/        ← 実際の画面のスクショ・録画

数字も同じです。空欄があると、AIは「売上 +238%」のような、それらしい数字で埋めてしまうことがあります。

- 数字・引用・結果をでっち上げない。本物の数値をもらうまでは、
  相対的な棒やダミー行(スケルトン)で見せ、何が仮かを書き残す

効果音も本物を:Openverse

効果音も「シュッて音を足して」と頼むと、AIはコードで合成したそれっぽい音を作るか、どこかから権利のはっきりしない音を持ってきがちです。

そこで使えるのが Openverse です。CC ライセンスやパブリックドメインの画像・音声をまとめて探せる検索サービスで、アカウントなしで API も使えます。HyperFrames(HTML で動画を作るツール)の media-use スキルは、効果音をこの Openverse から探すようになっていて、次のルールで動きます。

  • 使うのは CC0 と CC BY の音だけ。非営利のみ(NC)・継承(SA)・改変禁止(ND)は使わない
  • CC BY の音は、題名・作者・ライセンス・出典を CREDITS.md に書き残す
  • 「dramatic sound」ではなく「glass shatter」のように、具体的な名前で探す(あいまいな言葉だと、合わない音が選ばれやすい)
# HyperFrames の media-use で効果音を1つ探してプロジェクトに入れる
npx hyperframes media-use resolve --type sfx --intent "glass shatter" --project .

CC BY の音を使った動画は、公開するときにクレジットの表記が必要です。CREDITS.md に残すのは、そのためです。

動き:「いい感じに弾ませて」の代わりにばねの数値

「弾ませて」も幅のある言葉です。なので動きはばねの式で計算し、行きすぎる量を数値で決めます。

ここで大事なのが、画面を「時刻 t を入れたら1枚決まる関数」にする ことです。CSS トランジションや setTimeout を使うと「3.2秒目の画」だけを取り出せないので、拍の時刻に合わせることも、あとで出てくるコマ一覧を作ることもできません。

// NG:実際の時間の流れに頼っているので、3.2秒目だけを再現できない
el.style.transition = "transform 0.5s";
setTimeout(() => (el.style.transform = "scale(1)"), 1200);

// OK:t を渡せば、何回呼んでも同じ絵になる
// 減衰振動(ばね)のステップ応答。z: 減衰の強さ(1未満)、w: 固有角振動数
const spring = (s, z = 0.6, w = 12) => {
  if (s <= 0) return 0;
  const wd = w * Math.sqrt(1 - z * z);
  return 1 - Math.exp(-z * w * s) *
    (Math.cos(wd * s) + (z / Math.sqrt(1 - z * z)) * Math.sin(wd * s));
};

// <script type="module"> の中で、beats.py が書き出した beats.json を読む
const { beats } = await (await fetch("beats.json")).json();

function render(t) {
  const start = beats[8];                          // 9拍目から、ばねで出てくる
  const p = spring(t - start);
  el.style.transform = `scale(${0.8 + 0.2 * p})`;
  el.style.opacity = Math.min(1, Math.max(0, (t - start) / 0.2));
}

spring.png

z = 0.6 だと、目的の位置を約1割だけ行きすぎてから止まります(青線)。z = 0.25 まで下げると4割以上行きすぎて、「全部ぽよんと弾む」になります(赤線)。「ばねは行きすぎを少しだけ」というルールは、数字にするとこのくらいです。

出来:「できました」の代わりにコマ一覧で採点

AIは「できました」と言いますが、作ったものを自分で見直していないことがよくあります。なので、見せて、点をつけさせて、直させます。

## 納品前の自己採点
1. 次の7項目を10点満点で採点する。項目ごとに、確認する方法を分ける
   - コマ一覧で見る:フック/読みやすさ/構成/バリエーション/ブランドらしさ
   - 音付きの動画で確かめる:動き/音(拍との同期を含む)
2. 音は earshot で「聞いた結果」を数字と画像にし、カットの時刻・beats.json と照らし合わせる
3. 点が低い順に、大きな問題を3つ直す
4. 1〜3を最大3回くり返す
5. 8点未満の項目がある状態では納品しない。報告時に点数を伝える
  • 見る方法を項目ごとに分ける。手本のところと同じで、AIが見ているのは結局コマなので、構成や文字の読みやすさはコマ一覧で並べて見るのが確かめやすい。一方で、静止画には音も、コマとコマの間の動きもないので、動き・音・拍との同期はコマ一覧では分からない。最後は人が音付きで再生して確かめる。そのうえで、AIにも音を「聞かせる」ために次の earshot を使う
  • 採点の項目を固定する。「どうですか?」と聞くと「いい感じです」と返ってきて終わる
  • 直すのは3つまで。全部を一度に直そうとすると、どこが良くなったのか確かめられない

コマ一覧は ffmpeg だけで作れます。

# 2秒に1枚を、6列×4行(24コマ=48秒分)の1枚絵にする。
# 48秒を超える動画は contact_01.png, contact_02.png ... と複数枚に分かれる
ffmpeg -i draft.mp4 -vf "fps=1/2,scale=480:-1,tile=6x4" contact_%02d.png

-frames:v 1 を付けると、最初の1枚(先頭48秒分)だけで止まります。動画全体を確認したいときは付けないでください。130秒のテスト動画で試すと、3枚目に96〜128秒の17コマが入り、最後まで出力されました(FFmpeg 9.0.1)。

AIに耳をつける:earshot

コマ一覧で分からない音は、earshot(MIT ライセンス)で数字と画像にします。README の言葉を借りると「コーディングエージェントの耳」で、音を、エージェントが考えられる材料に変えるツールです。GPU は要らず、CPU だけで動きます。

使うのは主に次の2つです。

# 聞いた結果を文字にする:音のイベントの時刻・大きさ・種類、拍、カットごとの音のずれ
earshot timeline film.mp4 --cues cues.json

# 同じ内容を1枚の画像にする:コマ・音のイベント・スペクトログラム・拍・カットの印
earshot sheet film.mp4 -o sheet.png --cues cues.json

timeline は、カットごとに音がどれだけずれているかを offset_ms(音の時刻 − 映像の時刻。マイナスなら音が早い)で返します。sheet は、カットの印を色分けした画像を出します。1フレーム以内なら緑、100ms以内なら黄、音がなければ赤です。AIは画像なら読めるので、sheet.png を開かせれば、遅れた音や抜けている音を一目で見つけられます。

earshot のカット検出は、前後のフレームの差で見ています。そのため、ハードカットやウィップは拾えますが、ゆっくりしたクロスフェードは見落としたり遅れて見つけたりします。また、ショットの中の動きはイベントとして扱われません。モーショングラフィックスのように「1つの形が変形し続ける」映像では、--cues でカットや変化の時刻を渡します。映像を時刻 t の関数にしてあれば、その時刻はコードと beats.json の中にあります。

インストールは uv と ffmpeg があれば、次の2行です。初回は約1.1GBのモデルをダウンロードします。

uv tool install "earshot[mcp] @ git+https://github.com/Leonxlnx/earshot"
earshot doctor --fetch

claude mcp add earshot --scope user -e EARSHOT_THREADS=3 -- earshot mcp で、Claude Code の MCP サーバーとしても使えます(README のとおり)。CLI は呼ぶたびにモデルを読み込み直すので(20〜40秒)、何度も聞かせるなら MCP サーバーのほうが速いです。

README によると、60秒の動画のミックスに置いた効果音の93%を、イベントとして見つけられたそうです。ただし、苦手なこともはっきり書かれています。話している言葉の中身は分からず、ライセンスや出典の確認もできません。音の最終判断は、やはり人の耳です。

毎回同じ流れになったら、スキルにする

ここまでを毎回説明するのは大変なので、Claude Code の スキル にまとめています。

~/.claude/skills/<スキル名>/
  SKILL.md      ← いつ使うか(description)・何を聞くか・どの順でやるか・守るルール
  tools/        ← beats.py、コマ一覧を作るスクリプトなど

スキルは SKILL.md の description に合う依頼をすると読み込まれます。私の場合、「この曲でMV作って」と言うと次の順で進みます。

  1. 曲・尺・比率を聞く
  2. 拍を測って beats.json を作る
  3. 作る前に「拍ごとの表(画・文字・音・動き)」を見せて確認をもらう
  4. 作る → コマ一覧と earshot で自己採点 → 直す

3があるおかげで、全部できあがってから「思っていたのと違う」となる手戻りを、表の段階でつぶせます。

自分で書かなくても、使えるスキルは公開されています。earshot のリポジトリには、earshot での聞き方をまとめた skills/earshot と、本物の録音で効果音や音楽を付ける手順をまとめた skills/real-sound が入っています。~/.claude/skills/ にコピーすれば、自分のスキルと同じように読み込まれます。


コピペ用:CLAUDE.md に貼るルール一式

~/.claude/CLAUDE.md(全プロジェクト共通)か、プロジェクト直下の CLAUDE.md に貼ってください。

## 動画・モーショングラフィックスを作るとき

テンプレートを埋めるのではなく、先に意図を決めてから作る。

1. 最初に短い仕様書(BRIEF.md)を書く:1本で伝える1つのアイデア、尺・比率、禁止事項、納品物
2. 作る前に、拍ごとに「画・文字・音・動き」を並べた表を見せて確認をもらう
3. 映像は時刻 t の純粋な関数にする(シーク可能・乱数は種固定・CSSトランジションや実時間に依存しない)
4. 1フレームに主役1つ+補足+意図した余白。書体は見出し1・本文1まで
5. 禁止:中央タイトル+ありがちなグラデ、飾りだけの粒子・偽ガラス、何でも光らせる・弾ませる、拍と関係ない動き
6. 2〜4拍ごとに意味のある変化。トランジションは前のシーンの要素を次へ受け渡す
7. 本物の素材(ロゴ・色・書体・実際の画面)を使う。それっぽい図形で代用しない。効果音は Openverse などで CC0 / CC BY の録音を探し、CC BY は CREDITS.md にクレジットを残す
8. 手本があるときはフレーム単位で書き出して見る(長いときは切り替え・文字の出入りの区間に絞る)。文法だけを STYLE.md にまとめ、内容・ロゴ・キャラは使わない
9. 曲の拍を実測して beats.json にし、切り替え・文字・効果音を beats の時刻に合わせる。BPMで決め打ちしない
10. 動きはばねで計算し、行きすぎは少しだけ(減衰 z=0.6 前後)
11. 数字・引用・結果をでっち上げない。本物が来るまではスケルトンで見せ、何が仮かを書き残す
12. 納品前に7項目を10点満点で採点し、大きな問題を3つ直す。最大3回。8点未満の項目がある状態では納品しない
    - コマ一覧で確認:フック/読みやすさ/構成/バリエーション/ブランドらしさ
    - 音付きの動画で確認:動き/音(拍との同期を含む。earshot の timeline / sheet に、カットの時刻を --cues で渡して音のずれを測る)

自分の曲で測ってみてください

beats.py に手元の曲を渡して、tempo_librosa と bpm を見比べてみてください。差があれば、その曲を tempo で並べたときのズレは「1拍の長さの差(60 / tempo − 60 / bpm 秒)× 拍の数」でだいたい分かります。

ずれていたら、それが「AIに渡す前に測る」理由になります。ずれていなかったら、それはそれで安心して使えます。どちらだったか、コメントで教えてもらえるとうれしいです。

参考

1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?