はじめに
PDFスライドに字幕とアニメーションを付けて無音動画を作る、自作のAIスキルとアプリ「slide-caption-silent-movie」をご紹介します。
Claude CodeやIBM BobにPDFを渡すと、各ページの内容に合わせて字幕と動きを作成します。
環境
AIアシスタント(Claude CodeやIBM Bob)用のスキルと、ブラウザで動く編集アプリを、手元のPCで組み合わせて使います。
| 用途 | 必要なもの |
|---|---|
| デモの再生・字幕の編集・書き出し | Webブラウザ(Google Chrome推奨)、Node.js(22.13以降の22系、または24系) |
| 自分のPDFから動画を作る | 上に加えて、ファイルの読み書きとコマンドの実行ができるAIアシスタント |
編集アプリはGoogle Chromeで動作を確認しています。Microsoft EdgeなどほかのWebブラウザでも動く想定ですが、動作は確認していません。
完成動画はWebM形式です。MP4での出力には対応していません。
まずは3枚のデモで、字幕をひとつ変えてみる
組み込みデモは、AIアシスタントやAPIキーを用意しなくても試せます。
GitHubの「Code」→「Download ZIP」からプロジェクトをダウンロードして展開します。ターミナルで、展開したフォルダーのうち package.json がある場所に移動し、次のコマンドを実行します。
npm ci
npm run dev
npm ci は、初回にプロジェクトで使うパッケージをインストールするコマンドです。次回からは npm run dev だけで起動できます。会社のPCなどで実行前に影響を確認したい場合は、READMEの「npm ciで起きることとリスク」をご覧ください。
ターミナルに表示されたローカルURLをブラウザで開き、パスを /?sample=demo にすると、3枚のデモが表示されます。「再生」を押して、字幕が現れるタイミングを見てみましょう。なお、この組み込みデモにだけは、動作確認用の音が入っています。
次に、字幕をひとつ選び、文章を短くしたり、表示秒数を少し長くしたりして「確認」を押します。読みやすくなったら「保存」で編集用データを残し、「WebMを書き出す」で動画を保存します。これで、自分のPDFを用意する前に、編集から書き出しまでをひと通り試せます。
自分のPDFから動画を作る
今度は、Claude CodeまたはIBM Bobでプロジェクトのフォルダーを開きます。アシスタントには、ページ画像の確認、ローカルファイルの読み書き、コマンドの実行ができる環境が必要です。IBM BobではAgentモードを使います。
まずは同梱のPDFを使って、次のように依頼できます。先頭の /slide-caption-silent-movie は、スキル(制作手順)を使わせるための指定です。
/slide-caption-silent-movie user-test/coffee-break.pdf を説明字幕付きの無音動画にしてください。
見出しやイラストには、説明に合わせてなるべく多く動きを付けてください。
自分の資料を使うときは、PDFをプロジェクトのフォルダーに置き、依頼文のパスを差し替えます。入力できるのは、40MB以内・60ページ以内で、パスワードが設定されていないPDFです。
アシスタントがページを確認し、字幕と動きを作成して動画を書き出します。サンプルの場合、完成後に使うのは output/coffee-break/ にある次の2ファイルです。
| ファイル | 用途 |
|---|---|
coffee-break-captions.webm |
完成動画。Chromeにドラッグして再生できます。出力は1280×720、30fpsです。 |
coffee-break-captions.json |
編集用データ。あとから字幕やタイミングを調整するときに使います。 |
「この字幕だけ、もう少し長く」を調整する
動画を見返して、図を読み終える前に字幕が消えてしまう箇所があれば、編集アプリでそのページだけ直せます。
-
npm run devで編集アプリを起動してChromeで開き、「開く」から先ほどのJSONファイルを読み込みます。 - 「前へ」「次へ」で該当ページを選び、字幕の文章・開始時刻・表示秒数を調整します。
- 「確認」で再生し、図と字幕を一緒に追えるか確かめます。
- 「保存」で編集後のJSONを残し、「WebMを書き出す」で修正版の動画を保存します。
自動保存はないので、編集したら「保存」を押してください。見出しや図の動きも変えたいときは、保存した最新のJSONをアシスタントに渡し、「2ページ目の図を、最初の字幕に合わせて拡大してください」のように、ページとタイミングを指定します。
作成に使用したプロンプト例
当ツールは、AI との壁打ちで 0 から作成した スキル + アプリです。
完全には同じプロンプトではありませんが、下記のような内容に修正を加えて作成しています。
一例としてご参考ください。
プロンプト例
空のこのフォルダーに、PDFから無音の字幕付きスライド動画を作るアプリと、それを操作するスキル「slide-caption-silent-movie」を、一から作ってください。スキルはアプリの機能を呼び出して動くので、両方を作ります。
# 完成後の使い方
利用者がPDFを渡して「このPDFを動画にして」と頼むだけで、AIアシスタントが次のことを行います。
1. 全ページを画像と文字で確認する
2. ページを見出し・本文・図・イラストの中の物などの部品に切り分ける
3. 部品ごとに動きを付ける
4. 説明の字幕を書く
5. 無音のWebM動画を書き出す
6. アプリを立ち上げて結果を見せる
音声がなくても、字幕だけで内容が伝わる動画にします。利用者は、アプリでは字幕の文だけを直せます。動きの修正は「2枚目の太陽をもっとゆっくり」のようにAIアシスタントに頼みます。
# 必ず守ること
- 出力はWebM(VP8映像のみ)だけにする。音声は扱わない。MP4など、MPEG系のコーデックは使わない。
- FFmpeg、ffmpeg.wasm、ffprobe、Remotion、HyperFrames、動画用のWASMエンコーダーは使わない。混入したら開発サーバーの起動とビルドを止める検査も作る。
- ブラウザのWebCodecsでエンコードし、WebMの組み立てにはMediabunnyを使う。エンコードできない環境では理由を表示して止め、別の形式に切り替えない。
- 画面はReactとTypeScript、開発サーバーはVite、PDFの読み込みはPDF.jsを使う。依存パッケージのバージョンは固定し、ライセンスの原文を配布物に含める。
- アプリにAPIキーや外部サービスは不要にする。PDFなどの素材を外部へ送らない。
- 利用者のPDFや作業の出力はGitと配布物に含めない。
- 画面の文言、スキルの本文、説明書、エラーメッセージはすべて日本語にする。
# アプリ
- 映像は1280×720、30コマ毎秒、約4Mbps。スライドは1〜60枚、各1〜60秒、全体で60分まで。
- Canvasで描き、プレビューと書き出しで同じ描画処理を使う。同じ時刻なら必ず同じ絵になるようにする。
- 長い動画でもメモリーが足りなくならないよう、動画全体を1つの連続したメモリーに持たず、小さな塊に分けて保持する。
- 画面はプレビュー、スライドの一覧、選んだスライドの字幕欄だけにする。前後のスライドへの移動、再生バー、プロジェクトの保存と読み込み、WebM書き出しを付ける。要素や動きを調整する欄は作らない。
- 字幕は下部の帯に表示する。1スライド20個、1個120字まで。時間は毎秒6文字で割り当て、足りなければスライドを伸ばす。
- 上限を超える字幕は切り詰めない。スライド番号と理由を示して止め、元のデータを変えない。
- 起動すると、スキルで最後に作ったプロジェクトが開き、ブラウザも自動で開くようにする。
# 動き
- 登場: ふわっと表示、上下左右から滑り込む、弾む、中心から広がる、上から落ちて弾む、ぼけから合う、浮かび上がる、左から右へ現れる、回転、動きなし。
- 登場後: 上下にゆれる、脈打つ、左右にかしぐ、横に漂う、回り続ける。
- 退場: ふつうは付けないが、指定できるようにする。
- 登場の動きは減衰ばねを計算式で解き、行き過ぎを数%に抑えた落ち着いた動きにする。
- 部品に分けないページは、カメラの動きで見せる。種類は寄る、引く、左右に流す、静止。強さと注目点を指定でき、寄りは最大1.7倍、ページの外は映さない。
# AIアシスタント用のコマンド
アプリと同じ処理を手元のGoogle Chromeで動かし、画面を開かずに次のことができるコマンドを作ってください。コマンド名は任せます。
1. PDFをプロジェクトにする(40MB・60ページまで、パスワードなし)。
2. 各スライドの静止画、10%刻みの方眼を重ねた画像、文字の一覧を書き出す。
3. 画像の指定した位置の色を読む。目で見た色は不正確なので、部品の背景の色はこれで測る。
4. AIが書いた設計ファイルをもとに、ページを部品に切り分ける。
5. 字幕とカメラの動きをプロジェクトに書き込む。
6. 名前を指定した部品の動きの値だけを変え、「前の値 → 新しい値」を表示する。位置、見た目、字幕は変えない。
7. プロジェクトを、アプリの起動時に開くものに置き換える。ファイルが壊れていたら何も消さずに止まる。
8. WebMを書き出す。
9. 書き出した動画をMediabunnyで読み、長さ、大きさ、形式を表示して、途中の2コマを画像にする。
# 部品の切り分け方
PDFのページは1枚の画像なので、色を手がかりに切り抜きます。部品ごとに、囲む四角、後ろの面の色(複数可、周りの色の自動判定も可)、色の近さの許容度、跡を埋める色、動きを指定できるようにします。
- 後ろの面の色に近い画素を透明にして、物の形だけを動かす。
- 抜いた跡は近くの面の色で埋め、部品が来る前も自然な画面にする。
- 台紙とその上の物は別の部品にできる。下にあるものから順に重ねる。1ページ39部品まで。
- 文字は打ち直さず、画像のまま動かす。1行または1段落ずつ部品にする。
- 確認のため、全部品が出そろった画面と元のページとの差を表示し、0.3%を超えたら警告する。
- さらに、登場途中の4コマ(0.3秒、0.8秒、1.5秒、出そろった瞬間)と、部品をすべて抜いた背景を画像で書き出す。
# スキルに書くこと
名前は「slide-caption-silent-movie」とし、プロジェクト内のスキルの置き場所に作ります。説明文には「このPDFを動画にして」「PDFに字幕を付けて」「モーションを付けて」「動きを直して」「字幕を作って」といった依頼で使うことを書きます。本文には、実際のコマンドを添えて次の内容を書いてください。
## 作業の流れ
PDFの取り込み → 静止画の書き出し → すべての静止画を実際に見る → 切り分けの設計 → 切り分け → 確認画像を見て直す → 字幕とカメラの動きを書く → 書き込み → 起動時のプロジェクトを置き換える → 動画の書き出し → アプリの立ち上げ → 報告。
- 文字の一覧だけで判断せず、画像とPDFを必ず見る。
- PDF全体を1つのプロジェクト、1本の動画にする。ページが多くても分けない。
- 利用者の元ファイルは上書きしない。
## 確認画像の直し方
- 差が大きい → 許容度を下げるか、色を見直す。
- 部品の形の跡が残る → 四角を締めるか、色を足す。
- 台紙の外の色を一緒に運んでいる → 四角を台紙の内側に収める。
- 部品と背景に同じ色の部分がある → その部品は分けない。
## 部品に分けるかどうか
- 分ける: 単色や数色の平らな面に物が載っているページ。これを既定にする。
- 分けない: 写真が主役のページ、細かい表やグラフ、文字がびっしりのページ。カメラの動きにする。
## 動きの目安
- 台紙や大きな図形は、中心から広がるかふわっと、0秒から。
- 主役の物は弾むか横から滑り込み、登場後は小さく揺らす。
- 太陽や円の飾りは広がるか落ちて、登場後は脈打つ。
- 湯気や光は浮かび上がる。線や矢印は左から右へ現れる。
- 見出しは下から短く滑り込む。本文と箇条書きは1項目ずつ0.2〜0.3秒ずらす。
- 図解は読む順に0.3〜0.5秒ずらす。
- 見出しと台紙を0〜0.4秒、主役を0.5〜1秒、細かい物を1〜1.8秒に置き、2秒前後で出そろえる。
- 登場後も動き続ける部品は1ページ3個まで。同じ登場の動きを同じページで3つ以上使わない。
- 画面の下20%は字幕の帯と重なるので、大事な部品が下端にあるときは登場を早める。
## 字幕の書き方
- 1スライド2〜4個。1個は1文で全角30字前後。
- 画面の文字をそのまま繰り返さず、図や表が示していることを補って説明する。
- 資料にない事実や数値を足さない。読み取れない部分を推測で埋めない。
- 字幕の順番を部品の登場順に合わせる。
- です・ます調で、落ち着いた口調にする。絵文字は使わない。
## カメラの動きの選び方
- 図、グラフ、写真が主役のページは、そこへ寄る。
- 最後に全体を見せたいページは、引く。
- 横に長い表や年表は、左から右へ流す。
- 表紙や文字だけのページは、静止か弱い寄りにする。
- 強さはふだん0.3〜0.6。同じ種類を3ページ以上続けない。
## 動きを直す依頼の受け方
「ゆっくり」「速く」「先に」「後で」「大きく」「控えめに」「揺れを止めて」「別の出方に」といった言葉を、どの値をどれだけ変えるかに対応させた表を載せます。あいまいな指示は一段階だけ変え、何をどれだけ変えたかを報告します。
## 書き出しの知らせ方
- 始めるときに、終わったら知らせることと、かかる時間の目安を伝える。
- 終わったら動画を確認し、返信の1行目に「動画の書き出しが終わりました。」と書いて、場所、長さ、大きさを伝える。
- 失敗したときもすぐに知らせる。
## 報告の内容
ページごとの部品と動きとその理由、分けなかったページとその理由、字幕、元のページとの差、合計時間、出力の場所、アプリのアドレスを伝えます。字幕はアプリで、動きはAIアシスタントへの依頼で直せることも伝えます。
# 進め方
1. 最初に、作る物の構成と順番を短く示してください。確認を待たずに、そのまま進めてかまいません。
2. 描画と書き出し、PDFの取り込み、切り分け、コマンド、スキルの順に作り、段階ごとに動作を確かめてください。
3. 確認用のPDF(平らな色の面にイラストと文字が載った3ページのもの)を自分で作り、スキルの手順どおりに最初から最後まで実行してください。
4. 実行して分かった注意点をスキルに書き足してください。
# 完成の条件
次のすべてを確かめて、結果を日本語で報告してください。
- 型の検査、ビルド、依存関係の検査、ブラウザーでの自動テストがすべて通る。
- 確認用のPDFから、スキルの手順だけで無音のWebMができる。
- WebMがVP8の映像のみで、音声トラックがなく、途中のコマに字幕とスライドが映っている。
- プレビューと書き出した動画の同じ時刻の絵が一致する。
- 部品が出そろった画面と元のページとの差が、全ページで0.3%以下になる。
- 「2枚目の○○をもっとゆっくり」と頼む想定で動きを直し、その部品の値だけが変わる。
- 上限を超える字幕を入れると、切り詰めずに止まる。
- 依存関係にFFmpeg、Remotion、HyperFramesが含まれていない。
- アプリを起動すると、作ったプロジェクトが最初から開く。
おわりに
このツールは、手元のPDFを活かして、音声なしで要点が伝わる動画を作りたい方に向いています。
- 勉強会やLTの登壇者:発表で口頭説明したポイントを字幕にして、当日参加できなかった人にも資料を共有できます。
- 社内研修や手順書の作成担当者:操作画面のどこを見るかを動きで示しながら、手順を字幕で説明できます。
- 展示会やイベントの出展者:製品紹介のスライドを、会場のモニターで音を出さずに流せます。出力はWebMなので、PCのChromeで再生するか、モニターがWebMに対応していない場合は別のツールでMP4に変換してください。
まずは3枚のデモで、字幕をひとつ書き換えてみてください。
読むのにちょうどよい長さをつかんだら、自分の資料でも試してみてください。