概要
GPT-4oが発表されました。
GPT-4oについては以下のツイートによくまとまっています。
使用している映像は以下でまとめられています。
非常に優秀でAI系のプロダクトがまた何個か死んだと思いますが、それはさておき使っていきましょう。
APIではすでに利用可能になっております。
今回は以下のcookbookにある動画要約をgradioに移植します。
https://cookbook.openai.com/examples/gpt4o/introduction_to_gpt4o
デモ
以下の Huggingface Space を作りました。APIキーと動画を貼り付けて試用することができます。
1分間の動画で0.1ドル / 60秒くらいかかります。API使用料に注意してください。
現状のGPT-4o APIの制限
- 動画はそのままアップロードできません
- これは将来的にもできるとされていないため、ffmpegなどを使ってフレームを処理する必要があります。また、秒間30フレームとか送ると大量のトークンを消費するため、動画理解に必要と思われる分だけ送る必要があります
- だいたい秒間0.5フレーム (2秒で1フレーム) 程度で十分でしょう
- 音声はそのままアップロードできません
- これは数週間のうちに可能になるとのことです
- 現状ではWhisperで書き起こしの形状にしてから送ります
実装
動画のフレーム抽出と音声抽出
cookbook にあるものと同じです。シンプルな処理です。
def process_video(video_path, seconds_per_frame=2):
base64Frames = []
base_video_path, _ = os.path.splitext(video_path)
video = cv2.VideoCapture(video_path)
total_frames = int(video.get(cv2.CAP_PROP_FRAME_COUNT))
fps = video.get(cv2.CAP_PROP_FPS)
frames_to_skip = int(fps * seconds_per_frame)
curr_frame = 0
while curr_frame < total_frames - 1:
video.set(cv2.CAP_PROP_POS_FRAMES, curr_frame)
success, frame = video.read()
if not success:
break
_, buffer = cv2.imencode(".jpg", frame)
base64Frames.append(base64.b64encode(buffer).decode("utf-8"))
curr_frame += frames_to_skip
video.release()
audio_path = f"{base_video_path}.mp3"
clip = VideoFileClip(video_path)
clip.audio.write_audiofile(audio_path, bitrate="32k")
clip.audio.close()
clip.close()
return base64Frames, audio_path
APIの呼び出し
APIの使い方はGPT-4Vと同様です。
# Whisperで音声を文字起こし
transcription = client.audio.transcriptions.create(
model="whisper-1", file=open(audio_path, "rb")
)
# GPT-4oで要約生成
response = client.chat.completions.create(
model="gpt-4o",
messages=[
{
"role": "system",
"content": """あなたは優秀な要約者です。提供された動画とその書き起こしの要約をMarkdown形式で作成してください""",
},
{
"role": "user",
"content": [
"これらは動画から取得されたフレームです",
*map(
lambda x: {
"type": "image_url",
"image_url": {
"url": f"data:image/jpg;base64,{x}",
"detail": "low",
},
},
base64Frames,
),
{
"type": "text",
"text": f"動画の書き起こしはこちらです: {transcription.text}",
},
],
},
],
temperature=0,
)
return response.choices[0].message.content
おわりに
今回は試してみやすいように Huggingface Space に上げました。
サンプルコードがなかったとしてもこの程度の実装であれば1分くらいでできると思います。いい時代ですね。
音声合成がAPIにパックされているかは不明であるため、APIで使う場合は別途text-to-speech APIを叩くか自前で用意しなければならないかもしれません。つらいですね。