きっかけ
最近、ChatGPT Plusに加入したはいいものの、CodeXを利用したことがなかったのでどんなことができるのかを試してみました。
作成した動画はこちらになります。
https://www.youtube.com/watch?v=T9oZPuU9q7E
※動画内で使用している背景画像・台本・動画生成用コードは生成AIを利用して作成しています。
入力したプロンプトは以下の1つだけであとはポチポチAIの動きを承認していただけで割と最低限のものができたのかなと思います。
「ずんだもんとめたんがYouTubeのコメント欄にネタバレコメント書くのありか、なしかで激論するみたいなネタで動画作れる?」
本記事ではAIがこの動画を作成するにあたってどんなコードを書いたのか見てみようの会になります。
環境
- Windows11
- VOICEVOX,ffmpegはすでにインストール済み
- VSCode上でCodexを利用(モデルはGPT5.6 Sol)
何が生成されたのか
最終的に生成されたのは、PowerShellからVOICEVOXやFFmpegなどを呼び出して動画を生成するコードでした。
ざっくり処理を追ってみると以下のような感じでした。
台本を作成
↓
VOICEVOXで音声を生成
↓
ffprobeで各音声の長さを取得
↓
音声の長さに合わせて字幕を生成
↓
FFmpegで画像・音声・字幕を合成
↓
mp4を出力
もっと直接的に動画を作成しているのかと思いきや、処理の流れを確認すると結構わかりやすい構成になっています。
台本生成はLLMがそのままノリで作成してくれて、それ以降の処理はPowerShellが随時処理を呼び出しているような感じでした。
コードを読んでみる
1. 動画生成に必要なファイルやコマンドの準備
param([string]$Output = "作成動画.mp4")
$ErrorActionPreference = "Stop"
$root = Split-Path -Parent $MyInvocation.MyCommand.Path
$work = Join-Path $root "video_build"
$asset = Join-Path $root "video_assets\zundamon_metan.png"
$ffmpeg = (Get-Command ffmpeg).Source
$ffprobe = Join-Path (Split-Path $ffmpeg) 'ffprobe.exe'
New-Item -ItemType Directory -Force $work | Out-Null
1行目では最終的に出力するファイル名をOutputという変数に格納しているのがわかります。
1行目とそれ以降で変数の定義方法が異なるのは、paramを用いた方だとスクリプト実行時に引数を与えてやることでその変数の値を変更することができるみたいです。
つまり、スクリプト実行時に-Output "sample.mp4"という引数を与えてやるとこのoutputの中身をデフォルト値から変更してくれるみたいです。
一方、3行目以降の初期値設定はparamを用いてないのでスクリプトの内部で計算して使う普通の変数として認識されるみたいです。
https://www.vwnet.jp/windows/PowerShell/Param.htm
4行目以降の処理を見ましょう。
$ErrorActionPreferenceはエラー処理の設定方法を宣言しています。この値が"Stop"だとエラーが発生したらその時点で処理を止める設定で、主にこれらはエラーハンドリング(例外とか)の用途で利用するみたい。
(言い忘れていましたが、powershellほとんど触ったことないです)
https://www.skygroup.jp/tech-blog/article/1192/
3行目以降では、後続処理で使うファイルやコマンドのパスを準備しています。
$root = Split-Path -Parent $MyInvocation.MyCommand.Path
$MyInvocation.MyCommand.Path から現在実行しているスクリプト自身のパスを取得し、Split-Path -Parentでスクリプトが置かれているディレクトリを取得しています。
その$rootを基準に、
$work = Join-Path $root "video_build"
$asset = Join-Path $root "video_assets\zundamon_metan.png"
のように作業用ディレクトリや画像ファイルのパスを組み立てています。
また、
$ffmpeg = (Get-Command ffmpeg).Source
$ffprobe = Join-Path (Split-Path $ffmpeg) 'ffprobe.exe'
では、インストールされているFFmpegの実体パスを取得し、そのディレクトリからffprobeのパスも作っています。
最後に、
New-Item -ItemType Directory -Force $work | Out-Null
で作業用ディレクトリを作成しています。
2. 台本データの持ち方
コードを確認すると台本のデータは以下のような形で持っていました。
$lines = @(
@('ずんだもん','YouTubeのコメント欄にネタバレを書くやつ、全員コメント禁止でいいのだ! 初見の楽しみを一行で破壊するななのだ!',2),
@('メタン','出たわね、インターネット風紀委員。公開コメント欄を開いておいて「私が知らない情報を書くな」は、さすがにお気持ちが強すぎるわ。',-1),
@('ずんだもん','「お気持ち」で片付ければ勝った気になれるネット民の典型なのだ! 人の楽しみを潰さないなんて幼稚園児でも分かるのだ!',2),
@('メタン','じゃあ聞くけど、どこからがネタバレなの? 「面白かった」も期待値を変えるからネタバレ、と言い出したら何も書けないわよ。',-1),
@('ずんだもん','はい極論なのだ! 「犯人は○○」と「面白かった」が同じに見えるなら眼科に行くのだ!',3),
@('メタン','自分から「全部禁止」と極論を言った人が、極論って言葉を武器にするの面白いわね。',-1),
@('ずんだもん','全部禁止じゃないのだ! 未来の展開を知ってるやつが、それを匂わせる行為が全部ダメなのだ!',2),
@('メタン','「このキャラ好き」も未来を知ってる人が書いたら匂わせに見えるでしょう。受け手の疑心暗鬼まで書き手が管理するの?',-1),
# ひたすら文章が続く・・
)
$linesという変数に配列データで「語り手・セリフ・数値」の粒度で値を格納している様子がわかります。
これらのデータをどのように音声データに変換しているかを追ってみます。
3. セリフを処理する前の準備
まずはずんだもんやめたんの音声データをVOICEVOXで作成するための接続設定が以下でされています。
$voicevox = 'http://127.0.0.1:50021'
try { Invoke-RestMethod -Uri "$voicevox/version" -TimeoutSec 5 | Out-Null }
catch { throw "VOICEVOXエンジンが起動していません。VOICEVOXのrun.exeを起動してから再実行してください。" }
127.0.0.1は自分自身のPCを表すループバックアドレスで、50021はVOICEVOX Engineが利用するポートです。つまり自分のPC上で起動しているVOICEVOX EngineにHTTPでアクセスしています。
続くInvoke-RestMethodではVOICEVOX Engineの/version APIにアクセスしているっぽい。ここでレスポンスを確認してEngineが立ち上がっているかどうかをtry-catch文で判定している流れらしい。知らなかったがInvoke-RestMethodはHTTP通信用コマンドで、1回リクエストを送ってレスポンスを受け取るまでをやってくれるコマンドっぽい。
https://qiita.com/nownaka/items/90b17f98b96c1f28b956
その後、音声結合用ファイル、字幕ファイル、字幕イベント一覧、現在時刻などの初期化をしています。
$concat = Join-Path $work 'audio.txt'
$ass = Join-Path $work 'subtitles.ass'
Set-Content $concat '' -Encoding ascii
$events = New-Object System.Collections.Generic.List[string]
$cursor = 0.0
function AssTime([double]$sec) { ... }
function AssEscape([string]$v) { ... }
$concatは後で音声ファイルを結合するための一覧ファイル、$assは字幕ファイルの出力先です。$eventsには各セリフの字幕情報を順番に追加し,$cursorは現在、動画の何秒地点まで処理を進めているかを管理するため利用します。
その他の2つの関数はASS字幕用の補助関数です。ここでは字幕として扱える形に変える関数みたいな程度の理解で次の処理を読み進めます。
ここまでで、
・VOICEVOX Engineが利用可能か確認
・音声結合用ファイルの出力先を準備
・字幕ファイルの出力先を準備
・字幕タイミングを管理する変数を初期化
といった、実際にセリフを処理する前の準備が完了しています。
次は、$linesに格納したセリフを1件ずつ取り出して、VOICEVOXで音声に変換している処理を見ていきます。
4. VOICEVOXで音声を作成する
ここからは音声作成、字幕作成、動画作成を一気に1つのFOR文のなかで1つのセリフに対して処理が走っているのでそれぞれの処理の流れを抜粋しながら見てみます。
まずは全体のFOR文処理がこちら。
for ($i=0; $i -lt $lines.Count; $i++) {
$speaker,$text,$unusedRate = $lines[$i]
$wav = Join-Path $work ('line_{0:000}.wav' -f $i)
$speakerId = if ($speaker -eq 'ずんだもん') { 3 } else { 2 }
$encodedText = [Uri]::EscapeDataString($text)
$query = Invoke-RestMethod -Method Post -Uri "$voicevox/audio_query?text=$encodedText&speaker=$speakerId"
$query.speedScale = if ($speaker -eq 'ずんだもん') { 1.18 } else { 1.12 }
$query.intonationScale = if ($speaker -eq 'ずんだもん') { 1.12 } else { 1.08 }
$query.pitchScale = if ($speaker -eq 'ずんだもん') { 0.01 } else { -0.01 }
$query.prePhonemeLength = 0.08
$query.postPhonemeLength = 0.16
$json = $query | ConvertTo-Json -Depth 20 -Compress
Invoke-WebRequest -Method Post -Uri "$voicevox/synthesis?speaker=$speakerId" -ContentType 'application/json' -Body ([Text.Encoding]::UTF8.GetBytes($json)) -OutFile $wav
$duration = [double](& $ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 $wav)
if (-not $duration) { $duration = [Math]::Max(2.5, $text.Length * 0.14) }
Add-Content $concat ("file '{0}'" -f $wav.Replace("'","''")) -Encoding ascii
$color = if ($speaker -eq 'ずんだもん') { '&H0055EE55' } else { '&H00EE77DD' }
$start=AssTime $cursor; $end=AssTime ($cursor+$duration)
$safe=AssEscape $text
$events.Add("Dialogue: 0,$start,$end,Talk,,0,0,0,,{\c$color\b1}$speaker{\c&H00FFFFFF&\b0}\N$safe")
$cursor += $duration
}
セリフを1件ずつ取り出す
for文の先頭では$linesに格納した台本データを1件ずつ取り出しています。
for ($i=0; $i -lt $lines.Count; $i++) {
$speaker,$text,$unusedRate = $lines[$i]
# 後続処理・・
}
$lines.Countには台本データの件数が入っているため、セリフの数だけ処理を繰り返しています。
$speaker、$text、$unusedRateにはそれぞれ話し手、セリフ、数値が格納されるようになっていますが数値は今回の処理では利用されていませんでした。
恐らくこれはAIが何度か修正を加えさせた過程で、以前利用した値が残っているようです。(それでいいのか)
音声ファイル名と話者を決める
続いての処理です。
$wav = Join-Path $work ('line_{0:000}.wav' -f $i)
$speakerId = if ($speaker -eq 'ずんだもん') { 3 } else { 2 }
$encodedText = [Uri]::EscapeDataString($text)
$wavではVOICEVOXで生成した音声の保存先を作成しています。セリフごとにline_000.wav、line_001.wavのような感じで音声ファイルが作成されます。
次の$speakerIdでは、
$speakerId = if ($speaker -eq 'ずんだもん') { 3 } else { 2 }
話者がずんだもんであれば3、めたんであれば2に変換しているようでした。おそらく、VOICEVOXの仕様でそれぞれの音声に対してIDが割り振られているようです。
最後の$encodedTextは最終的にURLとしてVOICEVOXに送りたいので送信用に使える形へエンコードしています。
VOICEVOXから音声合成用の情報を取得する
ここから実際にVOICEVOXへリクエストを投げるまでを見てみます。
$query = Invoke-RestMethod -Method Post -Uri "$voicevox/audio_query?text=$encodedText&speaker=$speakerId"
$query.speedScale = if ($speaker -eq 'ずんだもん') { 1.18 } else { 1.12 }
$query.intonationScale = if ($speaker -eq 'ずんだもん') { 1.12 } else { 1.08 }
$query.pitchScale = if ($speaker -eq 'ずんだもん') { 0.01 } else { -0.01 }
$query.prePhonemeLength = 0.08
$query.postPhonemeLength = 0.16
$json = $query | ConvertTo-Json -Depth 20 -Compress
Invoke-WebRequest -Method Post -Uri "$voicevox/synthesis?speaker=$speakerId" -ContentType 'application/json' -Body ([Text.Encoding]::UTF8.GetBytes($json)) -OutFile $wav
先ほども出てきたInvoke-RestMethodを利用して今度はPOSTで/audio_queryという場所へリクエストを送っています。
このクエリを送ったら音声が生成されるわけではなく、どの文章を読むか、どの話者が読むかをVOICEVOX Engineへ渡し、音声合成に必要なパラメータを取得しています。
その結果が$queryに格納されるので今度はそのパラメータをもとに話すスピードや抑揚、声の高さなどの値を設定しています。
実際にWAVファイルを生成する
声のスピードなどを調整した$queryの情報をまずはJSONに変換しています。その後、最後に今度はVOICEVOX EngineのsynthesisにPOSTを送ることで$wavに格納したファイル名として音声ファイルが作成されます。
$json = $query | ConvertTo-Json -Depth 20 -Compress
Invoke-WebRequest -Method Post -Uri "$voicevox/synthesis?speaker=$speakerId" -ContentType 'application/json' -Body ([Text.Encoding]::UTF8.GetBytes($json)) -OutFile $wav
ここまでの全体的な流れを記述するとおそらくこんな感じで動いてるっぽい。
セリフを1件取り出す
↓
話者をspeakerIdへ変換
↓
audio_query
↓
音声合成用のパラメータを取得
↓
速度・抑揚・高さなどを調整
↓
JSONへ変換
↓
synthesis
↓
line_000.wav などとして保存
5. 字幕を生成する
今度は字幕生成までのロジックを上から読んでみようと思う。
$duration = [double](& $ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 $wav)
if (-not $duration) { $duration = [Math]::Max(2.5, $text.Length * 0.14) }
Add-Content $concat ("file '{0}'" -f $wav.Replace("'","''")) -Encoding ascii
$color = if ($speaker -eq 'ずんだもん') { '&H0055EE55' } else { '&H00EE77DD' }
$start=AssTime $cursor; $end=AssTime ($cursor+$duration)
$safe=AssEscape $text
$events.Add("Dialogue: 0,$start,$end,Talk,,0,0,0,,{\c$color\b1}$speaker{\c&H00FFFFFF&\b0}\N$safe")
$cursor += $duration
音声ファイルの長さを取得する
$duration = [double](& $ffprobe -v error -show_entries format=duration -of default=noprint_wrappers=1:nokey=1 $wav)
if (-not $duration) { $duration = [Math]::Max(2.5, $text.Length * 0.14) }
生成された音声ファイルからffprobeを使って音声の時間を取得しているっぽい。ただ、音声の長さが何かしらの理由で取れなかった場合はセリフの長さ×0.14秒で長さを算出しているっぽい。この計算はのちのち字幕の表示時間に関わってくる部分。
後で結合する音声ファイルを記録する
作成された音声ファイルを1.の工程で作成したaudio.txtのファイルに追記している処理がその後に入っている。
Add-Content $concat ("file '{0}'" -f $wav.Replace("'","''")) -Encoding ascii
中身はこんな感じで作成された音声ファイルのフルパスが格納されている様子が確認できた。
file 'E:\codes\temp\video_build\line_000.wav'
file 'E:\codes\temp\video_build\line_001.wav'
字幕の色と表示時間を決める
$color = if ($speaker -eq 'ずんだもん') { '&H0055EE55' } else { '&H00EE77DD' }
$start = AssTime $cursor
$end = AssTime ($cursor+$duration)
$safe = AssEscape $text
$colorは話者によって色を変えるためにif文でコードを割り当てています。(やってることは$speakerIdとほぼ同じ)$startと$endでは$startに字幕の開始時間、$endには終了時間を格納していき、$cursorに$durationを加算して更新していくことで、次の字幕の表示開始位置を計算しています。
ここでそれぞれの補助関数AssTimeとAssEscapeは適切な開始時間・終了時間の計算、字幕として表示する際に適切な形として加工するために使われているっぽい。(詳しいロジックはまた今度・・)
ASS字幕用の文字列を作成する
該当する部分はこのコード
$events.Add("Dialogue: 0,$start,$end,Talk,,0,0,0,,{\c$color\b1}$speaker{\c&H00FFFFFF&\b0}\N$safe")
今回字幕の情報はASS字幕という形式で保存しているっぽい。
これは知らなかったのだが、字幕の見た目や表示時間などをテキストとして別ファイルで記述することができるみたいだ。
最終的にffmpegで背景画像・字幕・音声を組み合わせることができるらしい。
https://ffmpeg-cookbook.com/ja/articles/subtitles/
今回の処理では$eventsにセリフと字幕の表示形式・表示時間をASS専用に加工してファイルへ書き込む処理が動いているのを確認できた。
ちなみに生成されたASSファイルの一部がこんな感じ。
[Events]
Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text
Dialogue: 0,0:00:00.00,0:00:07.98,Talk,,0,0,0,,{\c&H0055EE55\b1}ずんだもん{\c&H00FFFFFF&\b0}\NYouTubeのコメント欄にネタバレを書くやつ、全員コメント禁止でいいのだ! 初見の楽しみを一行で破壊するななのだ!
Dialogue: 0,0:00:07.98,0:00:17.17,Talk,,0,0,0,,{\c&H00EE77DD\b1}メタン{\c&H00FFFFFF&\b0}\N出たわね、インターネット風紀委員。公開コメント欄を開いておいて「私が知らない情報を書くな」は、さすがにお気持ちが強すぎるわ。
Dialogue: 0,0:00:17.17,0:00:25.15,Talk,,0,0,0,,{\c&H0055EE55\b1}ずんだもん{\c&H00FFFFFF&\b0}\N「お気持ち」で片付ければ勝った気になれるネット民の典型なのだ! 人の楽しみを潰さないなんて幼稚園児でも分かるのだ!
6. 音声・字幕・画像を合成して動画にする
ここまでで動画にする上の資材はそろったのでどのようにffmpegを利用して1つの動画にしているのかを最後に追ってみます。
$header = @"
[Script Info]
ScriptType: v4.00+
PlayResX: 1920
PlayResY: 1080
WrapStyle: 0
[V4+ Styles]
Format: Name, Fontname, Fontsize, PrimaryColour, SecondaryColour, OutlineColour, BackColour, Bold, Italic, Underline, StrikeOut, ScaleX, ScaleY, Spacing, Angle, BorderStyle, Outline, Shadow, Alignment, MarginL, MarginR, MarginV, Encoding
Style: Talk,Yu Gothic UI,54,&H00FFFFFF,&H000000FF,&H00101010,&HC0000000,0,0,0,0,100,100,0,0,3,3,1,2,150,150,62,1
[Events]
Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text
"@
Set-Content $ass ($header + "`r`n" + ($events -join "`r`n")) -Encoding utf8
$escapedAss = $ass.Replace('\','/').Replace(':','\:')
& $ffmpeg -y -loglevel warning -loop 1 -framerate 30 -i $asset -f concat -safe 0 -i $concat -vf "scale=1920:1080:force_original_aspect_ratio=increase,crop=1920:1080,eq=brightness=-0.10,subtitles='$escapedAss'" -c:v libx264 -preset veryfast -crf 20 -pix_fmt yuv420p -c:a aac -b:a 128k -shortest -movflags +faststart (Join-Path $root $Output)
Write-Host "完成: $(Join-Path $root $Output)"
Write-Host ("尺: 約 {0:N1} 分" -f ($cursor/60))
字幕ファイルの作成
前の章で紹介した$events変数の情報がまだASSのファイルに書き込まれていないのでASSファイルに書き込みを行います。ただし、これだけではASSファイルとして必要な情報が足りていないため$headerで字幕ファイル全体の設定を作成します。
ざっくりみると、ASSファイルの中身は以下のような構成になっているようです。
[Script Info]
→ 字幕ファイル全体の設定
[V4+ Styles]
→ フォントや文字サイズなどの見た目
[Events]
→ 実際の字幕を記述する部分
今回の例だと、$headerには字幕スタイルや文字の大きさなどが別で設定されています。
最終的に$headerの情報と$eventsの情報を結合してsubtitles.assというファイルとして字幕データを作成しています。
Set-Content $ass ($header + "`r`n" + ($events -join "`r`n")) -Encoding utf8
最後にFFmpegですべてを合成する
残る処理はこちらです。
$escapedAss = $ass.Replace('\','/').Replace(':','\:')
& $ffmpeg -y -loglevel warning `
-loop 1 -framerate 30 -i $asset `
-f concat -safe 0 -i $concat `
-vf "scale=1920:1080:force_original_aspect_ratio=increase,crop=1920:1080,eq=brightness=-0.10,subtitles='$escapedAss'" `
-c:v libx264 -preset veryfast -crf 20 -pix_fmt yuv420p `
-c:a aac -b:a 192k `
-shortest -movflags +faststart `
(Join-Path $root $Output)
ひとつずつ見てみます。
$escapedAss = $ass.Replace('\','/').Replace(':','\:')
上記の処理ではASSのファイルパスをFFmpegで扱える形になるようにパスの表記を変更しています。初期のままだと駄目みたいですね。
そして最後、$ffmpegでこれまで作ってきたファイルをまとめています。
先頭に&をつけると$ffmpegに格納されているプログラムをそのまま実行するみたいです。
主要なところを見てみると、
-loop 1 -framerate 30 -i $asset
上記では背景画像をフレームレート30で映像として出力し続けています。(今回で言うずんだもんとめたんの背景画)
-f concat -safe 0 -i $concat
その後、audio.txtに記録しておいた複数のWAVファイルを順番に読み込んでいます。
そんな感じでデータをffmpegの実行引数に与えてできた動画になります。
AIの書いたコードを読んでみて
素直にこの1つのプロンプトだけで実際に動画完成まで作り切れるのはすごいなと思いました。
コードを読み解いてみましたが、Powershellや知らない知識が結構あったので結構時間かかっちゃいました。(作成時間の10倍ぐらい、まぁほぼAIの動きを承認してただけですけど(笑))
実務だとレビューも必要になってくるので、ある程度読む力がないと今後本当に要らない存在になってしまいかねないので、たまにはコードの読み解きをやってみるのもいいなと思いました。
また今後もどんどんAIが進化していくと思うので、アプデが入るたびにまた似たようなことやってみようかなと思います。