【大型アップデート】AIにURLを渡すだけで動画編集を自動化し、再編集可能な.timeline工程まで残す

はじめに

AIで動画を生成できるサービスは増えましたが、実際の制作では次の問題が残ります。

• 字幕のタイミングだけ直したい
• 一文のナレーションだけ差し替えたい
• 製品の見せ場をもう少し長くしたい
• ズームや強調表示の位置を調整したい

完成したMP4だけが出力される仕組みでは、小さな修正でも動画全体を作り直すことになります。

そこでTimeline Studioを大型アップデートし、AIが自動編集した完成動画に加えて、再編集可能な .timeline プロジェクトも同時に出力できるようにしました。

• GitHub: https://github.com/MartinDelophy/ai-video-editor
• Web版: https://video-editor.ai-creator.top
• Release: https://github.com/MartinDelophy/ai-video-editor/releases/tag/v0.9.1

今回目指したもの

目標は、単なる「素材の自動連結」ではありません。

ユーザーがURL、画像、動画、音声などを渡すと、Skillが内容と目的を分析し、編集方針を決めます。その後、ナレーション、字幕、画面、BGM、強調演出を組み立て、次の2つを納品します。

1. そのまま公開できる動画ファイル
2. 後から調整できる .timeline 工程ファイル

つまり、AIに時間のかかる初稿を任せつつ、人間が最終的な編集権を失わない設計です。

Skillのインストール

Skills CLIからインストールできます。

npx skills add MartinDelophy/ai-video-editor@v0.9.1

インストール後は、例えば次のように依頼します。

このWebサイトを分析して、約60秒の紹介動画を作成してください。
英語の女性ナレーションで、プロフェッショナルかつ活気のある印象にしてください。
16:9で制作し、完成動画と編集可能な.timelineプロジェクトを出力してください。
ログインが必要な場合は、先に確認してください。

1. 素材を先に理解してから編集する

同じ編集ルールをすべての素材に適用しても、良い動画にはなりません。

今回のSkillでは、タスクを大きく次のように分類します。

• 話者中心の動画
• Webサイト／SaaS紹介
• 商品・ブランド紹介
• 静止画から作る動画
• 長尺動画の要約
• チュートリアル
• ハイライト／ショート動画

例えばWebサイト紹介では、公開ページを実際に確認し、情報構造と重要な機能を把握します。ログインしなければ主要機能を確認できない場合は、勝手に推測せずユーザーに確認します。

商品・ブランド紹介では、手元の素材だけで十分か、画像生成・動画生成モデルの利用可否を確認します。元動画がある場合は、フレーム抽出や動きの解析を使って見せ場を探します。

2. ナレーションを基準に映像を組み立てる

以前の実装では「60秒に収めること」を優先しすぎると、ナレーションが速く、不自然になる問題がありました。

現在は先に自然な速度で音声を生成し、実際の発話時間から以下を決定します。

• 字幕の開始・終了
• ページやシーンの切り替え
• ズーム開始位置
• 強調表示の表示時間
• BGMの音量変化
• エンディングの余白

60秒という指定は目安です。53秒や66秒になっても、聞き取りやすさと表現品質を優先します。

3. 強調演出を「ズーム・線・枠」で使い分ける

Webサイト紹介で何でも枠で囲むと、画面が騒がしくなり、かえって重要な場所が分かりません。

そこで演出を次のように整理しました。

• ズーム: 中心機能、グラフ、重要な結果
• 線による誘導: ボタン、文字、視線の移動
• 枠選択: 境界が明確で、本当に注目させたい領域

多くの場面では、キーフレームを使って「滑らかに拡大 → 短く停止 → 自然に戻る」動きを選びます。手ぶれのような細かい移動や、精度の低い枠を大量に表示することは避けます。

静止画には2.5D、被写界深度、輪郭、レイヤーアニメーションなどを利用できます。動画では光学フローを利用して、動きのある区間や追跡対象を補助的に分析できます。

4. .timeline v3で音声と字幕を対応付ける

今回の重要な変更がプロジェクト形式の改善です。

以前はナレーションが1本の長い音声として配置されることがあり、字幕を一文変更しても音声側を細かく調整できませんでした。

v3では、ナレーションを文単位の独立した音声クリップとして保持し、対応する字幕とIDで関連付けます。

概念的には次のような構造です。

{
  "caption": {
    "text": "Career planning should not depend on headlines alone.",
    "audioClipId": "voice-001"
  },
  "audioClip": {
    "id": "voice-001",
    "start": 0.8,
    "duration": 4.2
  }
}

これにより、一文だけ書き換える、ナレーションだけ生成し直す、字幕の表示時間を微調整するといった作業が容易になります。

5. 再生が特定クリップでループする問題への対応

編集画面の再生中に、クリップ境界付近で同じ区間が繰り返される問題も修正しました。

再生位置を個々のメディア要素だけに依存させると、デコード待ちや丸め誤差によって時間が後退することがあります。

現在はタイムラインのwall clockを単調増加するマスター時計として扱い、各メディアをその時刻へ同期します。またクリップの有効区間を半開区間 [start, end) として判定し、境界上で前後2つのクリップが同時に選択されることを防ぎます。

成果物を「生成結果」から「編集可能な資産」へ

このアップデートで最も重要なのは、AIが動画を作れること自体ではありません。

重要なのは、生成結果を後から安全に修正できることです。

• AIが内容を分析する
• AIが初稿を編集する
• 人間が必要な部分だけ調整する
• プロジェクトを再利用して次の版を作る

この流れが成立すれば、自動編集は一度きりのデモではなく、実際の制作ワークフローになります。

一杯のコーヒーを飲む間に初稿を作り、完成動画と工程ファイルを受け取る。その後は字幕一文、ナレーション一箇所、ズーム一回から自由に直せる。Timeline Studioでは、そのようなAI動画編集を目指しています。

リポジトリはこちらです。