Amazon Bedrock で使用できるモデルが増えたということで試してみた。という話です。
どうやら、韓国で開発された基盤モデルTwelveLabsのMarengo 2.7とPegasus 1.2というモデルが使用可能になったみたいで、動画素材に関して分析、分類などなどが出来るようなモデルみたいです。
どうせ、こういうのは最初日本語対応していないんでしょう…？
わーい！してるー。ということで試してみました！
実装部分
呼びだしはシンプルで以下のサンプルを参考にしています。
import json
import boto3
import base64
AWS_REGION = "us-west-2"
MODEL_ID = "us.twelvelabs.pegasus-1-2-v1:0"
def lambda_handler(event, context):
bedrock_runtime = boto3.client(
service_name="bedrock-runtime",
region_name=AWS_REGION
)
request_body = {
"inputPrompt": "このビデオをタイムコードベースで要約して、４つのチャプターに分けてください。",
"mediaSource": {
"s3Location": {
"uri": "s3://your-video-object-s3-path",
"bucketOwner": "your-video-object-s3-bucket-owner-account"
}
}
}
response = bedrock_runtime.invoke_model(
modelId=MODEL_ID,
body=json.dumps(request_body),
contentType="application/json",
accept="application/json"
)
response_body = json.loads(response['body'].read())
print(json.dumps(response_body, indent=2))
動画素材はS3においてある前提です。解析にかける動画は、Amazon Nova Reelを使用しました。
水族館と動物園がオープンしたという内容の動画を作成してもらっています。 映像の中には、水族館や動物園の名前などの情報は入っていないので、それをAmazon Pollyを使用して、適当に名前を付けて音声として読ませています。以下に音声で付け足した内容を記載します。1. 水族館がオープンすること。その名前が「西北海道水族館」ということ
2. ペンギンが空を飛んでいるのがメインのイベントということ
3. 動物園がオープンすること。その名前が「東北海道動物園」ということ
4. ラクダとキリンが共存しているのが魅力的ということ
5. 以上。今日のニュースでした。
出力結果
それでは、出力された結果の抜粋をどうぞ。
このビデオは、水族館と動物園がオープンしたというニュース映像です。以下は、タイムコードベースで要約した4つのチャプターです。
チャプター1: 水族館の内部（00:00 - 00:17）
ビデオは、巨大な水族館の内部で始まります。多くの人々が魚を観察しており、天井はガラス張りで太陽の光が差し込んでいます。水中には様々な種類の魚が泳いでおり、観客は魚を眺めながら歩き回っています。この部分では、水族館の名前が西北海道水族館であることが紹介されます。
チャプター2: ペンギンの展示（00:17 - 00:23）
次に、ペンギンが展示されているエリアが映されます。ペンギンたちは水の中で泳ぐか、地面に立って歩いているかのどちらかです。この部分では、ペンギンたちの動きと彼らが住む環境が紹介され、ペンギンが空を飛んでいるのがメインのイベントであることが説明されます。
チャプター3: 動物園の外観と内部（00:23 - 00:41）
ビデオは、東北海道動物園の外観を映し、多くの人々が動物園に向かって歩いている様子を示します。動物園の入り口は伝統的な建築様式を採用しており、周囲には美しい植物が植えられています。その後、動物園の内部が映され、人々が植物や動物を観察している様子が描かれます。
チャプター4: 動物園の動物たち（00:41 - 01:18）
最後に、動物園で飼育されている動物たちが映されます。まず、ハシビロコウがギターを弾く姿が映され、その後、ラクダが草を食べている様子が描かれます。さらに、キリンが草を食べている姿が映され、ラクダとキリンが共存している魅力が強調されます。ビデオは「以上今日のニュースでした」というアナウンスで締めくくられます。
このビデオは、水族館と動物園がオープンしたというニュース映像であり、それぞれの施設の魅力が強調されています。
いくつか突っ込みたいところはあるものの、結構いい感じにできている気がします。カバがギターを弾いている映像は、ハシビロコウになっていたりするのも、生成AIの作成映像だからかなと納得もしてしまう。
...サンプルの映像素材を作るのに一番時間がかかりました。
以上です。