0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

PDFスライドを字幕と動きのある無音動画にするAIスキル+アプリ|Claude Code・IBM Bobで実践

0
Posted at

はじめに

PDFスライドに字幕とアニメーションを付けて無音動画を作る、自作のAIスキルとアプリ「slide-caption-silent-movie」をご紹介します。

Claude CodeやIBM BobにPDFを渡すと、各ページの内容に合わせて字幕と動きを作成します。

GitHub(スキル本体・編集アプリ・サンプルPDF)



環境

AIアシスタント(Claude CodeやIBM Bob)用のスキルと、ブラウザで動く編集アプリを、手元のPCで組み合わせて使います。

用途 必要なもの
デモの再生・字幕の編集・書き出し Webブラウザ(Google Chrome推奨)、Node.js(22.13以降の22系、または24系)
自分のPDFから動画を作る 上に加えて、ファイルの読み書きとコマンドの実行ができるAIアシスタント

編集アプリはGoogle Chromeで動作を確認しています。Microsoft EdgeなどほかのWebブラウザでも動く想定ですが、動作は確認していません。
完成動画はWebM形式です。MP4での出力には対応していません。


まずは3枚のデモで、字幕をひとつ変えてみる

組み込みデモは、AIアシスタントやAPIキーを用意しなくても試せます。

GitHubの「Code」→「Download ZIP」からプロジェクトをダウンロードして展開します。ターミナルで、展開したフォルダーのうち package.json がある場所に移動し、次のコマンドを実行します。

npm ci
npm run dev

npm ci は、初回にプロジェクトで使うパッケージをインストールするコマンドです。次回からは npm run dev だけで起動できます。会社のPCなどで実行前に影響を確認したい場合は、READMEの「npm ciで起きることとリスク」をご覧ください。

ターミナルに表示されたローカルURLをブラウザで開き、パスを /?sample=demo にすると、3枚のデモが表示されます。「再生」を押して、字幕が現れるタイミングを見てみましょう。なお、この組み込みデモにだけは、動作確認用の音が入っています。

次に、字幕をひとつ選び、文章を短くしたり、表示秒数を少し長くしたりして「確認」を押します。読みやすくなったら「保存」で編集用データを残し、「WebMを書き出す」で動画を保存します。これで、自分のPDFを用意する前に、編集から書き出しまでをひと通り試せます。


自分のPDFから動画を作る

今度は、Claude CodeまたはIBM Bobでプロジェクトのフォルダーを開きます。アシスタントには、ページ画像の確認、ローカルファイルの読み書き、コマンドの実行ができる環境が必要です。IBM BobではAgentモードを使います。

まずは同梱のPDFを使って、次のように依頼できます。先頭の /slide-caption-silent-movie は、スキル(制作手順)を使わせるための指定です。

/slide-caption-silent-movie user-test/coffee-break.pdf を説明字幕付きの無音動画にしてください。
見出しやイラストには、説明に合わせてなるべく多く動きを付けてください。

自分の資料を使うときは、PDFをプロジェクトのフォルダーに置き、依頼文のパスを差し替えます。入力できるのは、40MB以内・60ページ以内で、パスワードが設定されていないPDFです。

アシスタントがページを確認し、字幕と動きを作成して動画を書き出します。サンプルの場合、完成後に使うのは output/coffee-break/ にある次の2ファイルです。

ファイル 用途
coffee-break-captions.webm 完成動画。Chromeにドラッグして再生できます。出力は1280×720、30fpsです。
coffee-break-captions.json 編集用データ。あとから字幕やタイミングを調整するときに使います。

「この字幕だけ、もう少し長く」を調整する

動画を見返して、図を読み終える前に字幕が消えてしまう箇所があれば、編集アプリでそのページだけ直せます。

  1. npm run dev で編集アプリを起動してChromeで開き、「開く」から先ほどのJSONファイルを読み込みます。
  2. 「前へ」「次へ」で該当ページを選び、字幕の文章・開始時刻・表示秒数を調整します。
  3. 「確認」で再生し、図と字幕を一緒に追えるか確かめます。
  4. 「保存」で編集後のJSONを残し、「WebMを書き出す」で修正版の動画を保存します。

自動保存はないので、編集したら「保存」を押してください。見出しや図の動きも変えたいときは、保存した最新のJSONをアシスタントに渡し、「2ページ目の図を、最初の字幕に合わせて拡大してください」のように、ページとタイミングを指定します。


作成に使用したプロンプト例

当ツールは、AI との壁打ちで 0 から作成した スキル + アプリです。

完全には同じプロンプトではありませんが、下記のような内容に修正を加えて作成しています。

一例としてご参考ください。

プロンプト例
空のこのフォルダーに、PDFから無音の字幕付きスライド動画を作るアプリと、それを操作するスキル「slide-caption-silent-movie」を、一から作ってください。スキルはアプリの機能を呼び出して動くので、両方を作ります。

# 完成後の使い方
利用者がPDFを渡して「このPDFを動画にして」と頼むだけで、AIアシスタントが次のことを行います。
1. 全ページを画像と文字で確認する
2. ページを見出し・本文・図・イラストの中の物などの部品に切り分ける
3. 部品ごとに動きを付ける
4. 説明の字幕を書く
5. 無音のWebM動画を書き出す
6. アプリを立ち上げて結果を見せる

音声がなくても、字幕だけで内容が伝わる動画にします。利用者は、アプリでは字幕の文だけを直せます。動きの修正は「2枚目の太陽をもっとゆっくり」のようにAIアシスタントに頼みます。

# 必ず守ること
- 出力はWebM(VP8映像のみ)だけにする。音声は扱わない。MP4など、MPEG系のコーデックは使わない。
- FFmpeg、ffmpeg.wasm、ffprobe、Remotion、HyperFrames、動画用のWASMエンコーダーは使わない。混入したら開発サーバーの起動とビルドを止める検査も作る。
- ブラウザのWebCodecsでエンコードし、WebMの組み立てにはMediabunnyを使う。エンコードできない環境では理由を表示して止め、別の形式に切り替えない。
- 画面はReactとTypeScript、開発サーバーはVite、PDFの読み込みはPDF.jsを使う。依存パッケージのバージョンは固定し、ライセンスの原文を配布物に含める。
- アプリにAPIキーや外部サービスは不要にする。PDFなどの素材を外部へ送らない。
- 利用者のPDFや作業の出力はGitと配布物に含めない。
- 画面の文言、スキルの本文、説明書、エラーメッセージはすべて日本語にする。

# アプリ
- 映像は1280×720、30コマ毎秒、約4Mbps。スライドは1〜60枚、各1〜60秒、全体で60分まで。
- Canvasで描き、プレビューと書き出しで同じ描画処理を使う。同じ時刻なら必ず同じ絵になるようにする。
- 長い動画でもメモリーが足りなくならないよう、動画全体を1つの連続したメモリーに持たず、小さな塊に分けて保持する。
- 画面はプレビュー、スライドの一覧、選んだスライドの字幕欄だけにする。前後のスライドへの移動、再生バー、プロジェクトの保存と読み込み、WebM書き出しを付ける。要素や動きを調整する欄は作らない。
- 字幕は下部の帯に表示する。1スライド20個、1個120字まで。時間は毎秒6文字で割り当て、足りなければスライドを伸ばす。
- 上限を超える字幕は切り詰めない。スライド番号と理由を示して止め、元のデータを変えない。
- 起動すると、スキルで最後に作ったプロジェクトが開き、ブラウザも自動で開くようにする。

# 動き
- 登場: ふわっと表示、上下左右から滑り込む、弾む、中心から広がる、上から落ちて弾む、ぼけから合う、浮かび上がる、左から右へ現れる、回転、動きなし。
- 登場後: 上下にゆれる、脈打つ、左右にかしぐ、横に漂う、回り続ける。
- 退場: ふつうは付けないが、指定できるようにする。
- 登場の動きは減衰ばねを計算式で解き、行き過ぎを数%に抑えた落ち着いた動きにする。
- 部品に分けないページは、カメラの動きで見せる。種類は寄る、引く、左右に流す、静止。強さと注目点を指定でき、寄りは最大1.7倍、ページの外は映さない。

# AIアシスタント用のコマンド
アプリと同じ処理を手元のGoogle Chromeで動かし、画面を開かずに次のことができるコマンドを作ってください。コマンド名は任せます。
1. PDFをプロジェクトにする(40MB・60ページまで、パスワードなし)。
2. 各スライドの静止画、10%刻みの方眼を重ねた画像、文字の一覧を書き出す。
3. 画像の指定した位置の色を読む。目で見た色は不正確なので、部品の背景の色はこれで測る。
4. AIが書いた設計ファイルをもとに、ページを部品に切り分ける。
5. 字幕とカメラの動きをプロジェクトに書き込む。
6. 名前を指定した部品の動きの値だけを変え、「前の値 → 新しい値」を表示する。位置、見た目、字幕は変えない。
7. プロジェクトを、アプリの起動時に開くものに置き換える。ファイルが壊れていたら何も消さずに止まる。
8. WebMを書き出す。
9. 書き出した動画をMediabunnyで読み、長さ、大きさ、形式を表示して、途中の2コマを画像にする。

# 部品の切り分け方
PDFのページは1枚の画像なので、色を手がかりに切り抜きます。部品ごとに、囲む四角、後ろの面の色(複数可、周りの色の自動判定も可)、色の近さの許容度、跡を埋める色、動きを指定できるようにします。
- 後ろの面の色に近い画素を透明にして、物の形だけを動かす。
- 抜いた跡は近くの面の色で埋め、部品が来る前も自然な画面にする。
- 台紙とその上の物は別の部品にできる。下にあるものから順に重ねる。1ページ39部品まで。
- 文字は打ち直さず、画像のまま動かす。1行または1段落ずつ部品にする。
- 確認のため、全部品が出そろった画面と元のページとの差を表示し、0.3%を超えたら警告する。
- さらに、登場途中の4コマ(0.3秒、0.8秒、1.5秒、出そろった瞬間)と、部品をすべて抜いた背景を画像で書き出す。

# スキルに書くこと
名前は「slide-caption-silent-movie」とし、プロジェクト内のスキルの置き場所に作ります。説明文には「このPDFを動画にして」「PDFに字幕を付けて」「モーションを付けて」「動きを直して」「字幕を作って」といった依頼で使うことを書きます。本文には、実際のコマンドを添えて次の内容を書いてください。

## 作業の流れ
PDFの取り込み → 静止画の書き出し → すべての静止画を実際に見る → 切り分けの設計 → 切り分け → 確認画像を見て直す → 字幕とカメラの動きを書く → 書き込み → 起動時のプロジェクトを置き換える → 動画の書き出し → アプリの立ち上げ → 報告。

- 文字の一覧だけで判断せず、画像とPDFを必ず見る。
- PDF全体を1つのプロジェクト、1本の動画にする。ページが多くても分けない。
- 利用者の元ファイルは上書きしない。

## 確認画像の直し方
- 差が大きい → 許容度を下げるか、色を見直す。
- 部品の形の跡が残る → 四角を締めるか、色を足す。
- 台紙の外の色を一緒に運んでいる → 四角を台紙の内側に収める。
- 部品と背景に同じ色の部分がある → その部品は分けない。

## 部品に分けるかどうか
- 分ける: 単色や数色の平らな面に物が載っているページ。これを既定にする。
- 分けない: 写真が主役のページ、細かい表やグラフ、文字がびっしりのページ。カメラの動きにする。

## 動きの目安
- 台紙や大きな図形は、中心から広がるかふわっと、0秒から。
- 主役の物は弾むか横から滑り込み、登場後は小さく揺らす。
- 太陽や円の飾りは広がるか落ちて、登場後は脈打つ。
- 湯気や光は浮かび上がる。線や矢印は左から右へ現れる。
- 見出しは下から短く滑り込む。本文と箇条書きは1項目ずつ0.2〜0.3秒ずらす。
- 図解は読む順に0.3〜0.5秒ずらす。
- 見出しと台紙を0〜0.4秒、主役を0.5〜1秒、細かい物を1〜1.8秒に置き、2秒前後で出そろえる。
- 登場後も動き続ける部品は1ページ3個まで。同じ登場の動きを同じページで3つ以上使わない。
- 画面の下20%は字幕の帯と重なるので、大事な部品が下端にあるときは登場を早める。

## 字幕の書き方
- 1スライド2〜4個。1個は1文で全角30字前後。
- 画面の文字をそのまま繰り返さず、図や表が示していることを補って説明する。
- 資料にない事実や数値を足さない。読み取れない部分を推測で埋めない。
- 字幕の順番を部品の登場順に合わせる。
- です・ます調で、落ち着いた口調にする。絵文字は使わない。

## カメラの動きの選び方
- 図、グラフ、写真が主役のページは、そこへ寄る。
- 最後に全体を見せたいページは、引く。
- 横に長い表や年表は、左から右へ流す。
- 表紙や文字だけのページは、静止か弱い寄りにする。
- 強さはふだん0.3〜0.6。同じ種類を3ページ以上続けない。

## 動きを直す依頼の受け方
「ゆっくり」「速く」「先に」「後で」「大きく」「控えめに」「揺れを止めて」「別の出方に」といった言葉を、どの値をどれだけ変えるかに対応させた表を載せます。あいまいな指示は一段階だけ変え、何をどれだけ変えたかを報告します。

## 書き出しの知らせ方
- 始めるときに、終わったら知らせることと、かかる時間の目安を伝える。
- 終わったら動画を確認し、返信の1行目に「動画の書き出しが終わりました。」と書いて、場所、長さ、大きさを伝える。
- 失敗したときもすぐに知らせる。

## 報告の内容
ページごとの部品と動きとその理由、分けなかったページとその理由、字幕、元のページとの差、合計時間、出力の場所、アプリのアドレスを伝えます。字幕はアプリで、動きはAIアシスタントへの依頼で直せることも伝えます。

# 進め方
1. 最初に、作る物の構成と順番を短く示してください。確認を待たずに、そのまま進めてかまいません。
2. 描画と書き出し、PDFの取り込み、切り分け、コマンド、スキルの順に作り、段階ごとに動作を確かめてください。
3. 確認用のPDF(平らな色の面にイラストと文字が載った3ページのもの)を自分で作り、スキルの手順どおりに最初から最後まで実行してください。
4. 実行して分かった注意点をスキルに書き足してください。

# 完成の条件
次のすべてを確かめて、結果を日本語で報告してください。
- 型の検査、ビルド、依存関係の検査、ブラウザーでの自動テストがすべて通る。
- 確認用のPDFから、スキルの手順だけで無音のWebMができる。
- WebMがVP8の映像のみで、音声トラックがなく、途中のコマに字幕とスライドが映っている。
- プレビューと書き出した動画の同じ時刻の絵が一致する。
- 部品が出そろった画面と元のページとの差が、全ページで0.3%以下になる。
- 「2枚目の○○をもっとゆっくり」と頼む想定で動きを直し、その部品の値だけが変わる。
- 上限を超える字幕を入れると、切り詰めずに止まる。
- 依存関係にFFmpeg、Remotion、HyperFramesが含まれていない。
- アプリを起動すると、作ったプロジェクトが最初から開く。


おわりに

このツールは、手元のPDFを活かして、音声なしで要点が伝わる動画を作りたい方に向いています。

  • 勉強会やLTの登壇者:発表で口頭説明したポイントを字幕にして、当日参加できなかった人にも資料を共有できます。
  • 社内研修や手順書の作成担当者:操作画面のどこを見るかを動きで示しながら、手順を字幕で説明できます。
  • 展示会やイベントの出展者:製品紹介のスライドを、会場のモニターで音を出さずに流せます。出力はWebMなので、PCのChromeで再生するか、モニターがWebMに対応していない場合は別のツールでMP4に変換してください。

まずは3枚のデモで、字幕をひとつ書き換えてみてください。
読むのにちょうどよい長さをつかんだら、自分の資料でも試してみてください。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?