vtt ファイルを exo ファイルに変換して AviUtl へのインポートを試した際のメモです。(タイトルの前半部分は ChatGPT で生成しました)

コード

Google Colab で以下のコードを実行することで変換できました。

import webvtt
from datetime import datetime, timedelta

def frames_from_timestamp(timestamp_str):
    timestamp = datetime.strptime(timestamp_str, "%H:%M:%S.%f") - datetime(1900, 1, 1)
    seconds = timestamp.total_seconds()
    return int(seconds * 60)  # Convert to frames

def convert_vtt_to_exo(vtt_file, exo_file):
    vtt = webvtt.read(vtt_file)

    with open(exo_file, 'w', encoding='shift_jis', newline='\r\n') as file:
        file.write("[exedit]\nwidth=1920\nheight=1080\nrate=60\nscale=1\nlength={}\naudio_rate=44100\naudio_ch=2\n".format(frames_from_timestamp(vtt[-1].end)))

        for i, caption in enumerate(vtt):
            start_frame = frames_from_timestamp(str(caption.start))
            end_frame = frames_from_timestamp(str(caption.end))

            if i > 0:
                start_frame += 1

            if i < len(vtt) - 1:
                end_frame -= 1

            text = caption.text.encode('utf-16le').hex().ljust(4096, '0')
            file.write("[{0}]\nstart={1}\nend={2}\nlayer=9\noverlay=1\ncamera=0\n[{0}.0]\n_name=テキスト\nサイズ=100\n表示速度=0.0\n文字毎に個別オブジェクト=0\n移動座標上に表示する=0\n自動スクロール=0\nB=0\nI=0\ntype=4\nautoadjust=0\nsoft=1\nmonospace=0\nalign=4\nspacing_x=0\nspacing_y=0\nprecision=1\ncolor=0000ff\ncolor2=ffffff\nfont=メイリオ\ntext={3}\n[{0}.1]\n_name=標準描画\nX=150.0\nY=250.0\nZ=0.0\n拡大率=100.00\n透明度=0.0\n回転=0.00\nblend=0\n".format(i, start_frame, end_frame, text))

convert_vtt_to_exo('input.vtt', 'output.exo')

Google Colab

以下の notebook を動かすことで変換を試せます。

vtt2exo.ipynb

コード生成に利用したプロンプト

今回、プロンプトだけでコードを生成しようと試行錯誤しました。
上記のコードは以下のプロンプトを OpenAI に投げて生成しています。

字幕ファイル vtt ファイルを、aviutl でインポートできる exo フォーマットに変換する Python コードを書いてください。
aviutl の exoフォーマットは以下のような形式で、ファイルの文字コードは Shift_JIS です。
改行コードは LF でなくて、CR + LF です。
vtt ファイルのパースには webvtt モジュールを利用してください。


[{数字}]
start={開始フレーム}
end={停止フレーム}
layer=9
overlay=1
camera=0
[{数字}.0]
_name=テキスト
サイズ=100
表示速度=0.0
文字毎に個別オブジェクト=0
移動座標上に表示する=0
自動スクロール=0
B=0
I=0
type=4
autoadjust=0
soft=1
monospace=0
align=4
spacing_x=0
spacing_y=0
precision=1
color=0000ff
color2=ffffff
font=メイリオ
text={テキスト}
[{数字}.1]
_name=標準描画
X=150.0
Y=250.0
Z=0.0
拡大率=100.00
透明度=0.0
回転=0.00
blend=0


上記のうち、{数字} は字幕ごとに 0 始まりで順に増えていき、{開始フレーム} {停止フレーム} は1秒を60フレーム換算した、整数になります。
{開始フレーム} と {停止フレーム} は前後の要素で重複しないように指定する必要があります。
プログラム側でこの問題を防ぐために、各キャプションのフレームを調整し、
前のキャプションの終了フレームと次のキャプションの開始フレームが重複しないようにしてください。
{テキスト} は字幕の内容がはいります。文字列を utf-16le でエンコードして、16進数にした文字列にしたものを入れる必要がます。
4096 バイトの固定長で、満たない部分は 0 埋めされます。以下のようなコードになります。

text.encode('utf-16le').hex().ljust(4096, '0')

また、exo ファイルの冒頭は以下のようなヘッダーパートがあります。


[exedit]
width=1920
height=1080
rate=60
scale=1
length={最後の停止フレーム}
audio_rate=44100
audio_ch=2


{最後の停止フレーム} には、最も長い停止フレームの数が入ります。

プロンプトの改善と、コード出力

プロンプトを見てわかるとおり、最初に全ての条件を洗い出せたわけではありません。簡素な文で投げたあと、動くのに必要な条件を付け足すことで動くコードが出力されるように修正しています(フレームの重複部分や、改行コードの指定など)。文字コードの変換部分などは、言葉で説明するのが面倒なため、コードをそのまま指示してしまっています。

更に、これを実行しても直接冒頭の出力コードになったわけではなく、いくつか動かないコードを経由しています。例えば、frames_from_timestamp 関数は最初の出力では

def frames_from_timestamp(timestamp):
    seconds = timestamp.total_seconds()
    return int(seconds * 60)  # Convert to frames

となっていて、total_seconds などという属性はないためエラーになります。これを、

AttributeError: 'str' object has no attribute 'total_seconds'

というエラーがでます

というプロンプトを入力することで、

申し訳ありません、私の誤りです。
webvttモジュールでは、`caption.start`と`caption.end`は文字列として返されます。
そのため、これらの値をフレームに変換するためには、まず時間に変換する必要があります。
以下に修正したコードを提供します。
～～～

修正してくれます。

コードを動かす→エラーをフィードバック、を何回か繰り返し、最終的に動くコードを出力してくれました。

参考文献

Go言語でWhisperのvttファイルをAVIUtlのexoファイルに変換するバッチを作った.pdf - Speaker Deck
- そのまま使えそうと思いましたが、公開されたプログラムを見つけられなかったため、今回作成しました
AviUtlのexoファイル出力時のテキストの変換 - Qiita
- text パラメータのフォーマットの参考にしました