その1↑の続きです。
今回は構成で言うと下記の部分を実装します。
数字だと1~3の部分です。

PCからS3に手動で動画をアップロード
S3への動画ファイルのアップロードをトリガーにLambdaを実行
Lambdaで動画ファイルを音声ファイルに変換してS3の別のバケットに保存
S3への音声ファイルのアップロードをトリガーにTranscribeを実行
Transcribeで音声ファイルをテキストファイルに変換してS3の別のバケットに保存
S3へのテキストファイルのアップロードをトリガーに別のAIツールを用いてテキストファイルを要約する(予定)

ffmpegのファイルを準備する

今回動画ファイルからの音声抽出にはffmpegという動画編集アプリを使います。
こちらをLambda関数に実装していきます。
https://ffmpeg.org/

実装には↓を参考にさせていただきました。

ファイルの作成方法

下記URLにアクセスして.tar.xzファイルをローカルにダウンロードします。
https://johnvansickle.com/ffmpeg/releases/ffmpeg-release-amd64-static.tar.xz

ローカルでffmpegが含まれたZIPファイルを作成します。
下記が参考のコマンドとなります。

$ tar xvf ffmpeg-release-amd64-static.tar.xz
$ mkdir -p ffmpeg/bin
$ cp ffmpeg-6.0-amd64-static/ffmpeg ffmpeg/bin/
$ cd ffmpeg
$ zip -r ../ffmpeg.zip .

"ffmpeg-6.0-amd64-static"についてはバージョンによって異なるためダウンロードした時のバージョンに変更してください。
これにてffmpeg.zipファイルが出来たはずなのでこの後作成するS3バケットに保存しましょう。

S3の設定

やることは下記のです。
ただイベント通知についてはLambda関数で設定するのでそちらで行います。

バケットを作る
ffmpeg.zipを保存する
イベント通知を設定する（Lambda関数の設定時に行う）

バケットを作る

下記の3つバケットを作りましょう。

動画ファイルを保存するバケット
音声ファイルを保存するバケット
Lambdaレイヤーが参照する用のバケット

動画ファイルと音声ファイルを保存するバケットについては説明は不要だと思いますのでLambdaレイヤーが参照する用のバケットについて説明します。
今回ffmpegという動画ファイル変換ソフトを使うのですがこちらをLambda関数に実装するためにはLambdaレイヤーを使う必要があります。
ffmpegのファイルが約30MBあるため、直接LambdaレイヤーにアップロードするのではなくS3から参照する方法が望ましいのでffmpegのファイルの保存先のバケットとなります。

それぞれのバケット名は下記のように設定したとして話を進めます。
バケット名だけ決めてあとは全てデフォルト設定で問題ありません。
video-20230402
audio-20230402
lambda-layer-20230402

ffmpeg.zipを保存する

先ほど作成したffmpeg.zipをlambda-layer-20230402にアップロードしましょう。

Lambda関数の設定

やることは下記です。（順番に特にこだわりはありません。）

Lambdaレイヤーの設定
Lamda関数のためのIAMポリシーの作成
Lambda関数の作成
トリガーの設定
その他の設定
コードの記述

Lambdaレイヤーの設定

Lambdaのページに移動してレイヤーを作成しましょう。

python3.9にて実装
S3のリンクURLはffmpegのオブジェクトURLをコピーしましょう。
アーキテクチャとランタイムはLambda関数と合わせましょう。（オプション）

作成をクリックしたらレイヤーが作成されたことを確認しましょう。

Lamda関数のためのIAMロールの作成

S3への操作が必要なため必要な権限をアタッチしたIAMポリシーを作成しましょう。
下記のJSONを含めたIAMポリシーを作成しましょう。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::video-20230402",
                "arn:aws:s3:::video-20230402/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::audio-20230402/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": "lambda:InvokeFunction",
            "Resource": "<Lambda関数のARNを入れましょう>"
        }
    ]
}

Lambda関数の作成

Lamda関数を作成しましょう。

ランタイム、アーキテクチャはLambdaレイヤーで設定したものと合わせましょう
"実行ロールは基本的なLambdaアクセス権限で新しいロールを作成"を選択

lambda関数の作成が終わったら実行ロールに移動して先ほど作成したポリシーをアタッチしましょう。

トリガーの設定

[設定]→[トリガー]よりS3に動画ファイルがアップロードされたら実行されるトリガーを追加しましょう。

その他の設定

Lambdaレイヤーの追加

作成したLambda関数にLambdaレイヤーを追加しましょう。

一般設定

[設定]→[一般設定]よりメモリやタイムアウト時間を変更しましょう。
動画ファイルの処理となるためメモリ2048MB、タイムアウト5分で設定してます。

環境変数の編集

コード内にて環境変数を使用しているため[設定]→[環境変数]より環境変数を追加しましょう。

コードの記述

コードは試行錯誤の結果下記のようになりました。

import boto3
import json
import os
import subprocess
from tempfile import TemporaryDirectory
from io import BytesIO
from urllib.parse import unquote_plus

print("Contents of /opt/bin directory:")
print(os.listdir('/opt/bin'))


def lambda_handler(event, context):
    print("Received event:", json.dumps(event, indent=2))
    
    # Add /opt to PATH
    os.environ['PATH'] = f"{os.environ['PATH']}:/opt"
    
    s3 = boto3.client('s3')

    # Input and output bucket names
    input_bucket = os.environ['INPUT_BUCKET']
    output_bucket = os.environ['OUTPUT_BUCKET']

    # Get the input video file from S3
    encoded_key = event['Records'][0]['s3']['object']['key']
    key = unquote_plus(encoded_key)
    print(f"Attempting to get S3 object with key: {key}")
    with TemporaryDirectory() as tempdir:
        output_file = os.path.join(tempdir, 'output_audio.mp3')

        # Download the video file from S3 as streaming bytes
        response = s3.get_object(Bucket=input_bucket, Key=key)
        input_stream = response['Body']

        # Extract audio from video using FFmpeg
        # Extract audio from video using FFmpeg
        command = f'/opt/bin/ffmpeg -i pipe:0 -vn -acodec mp3 -f mp3 pipe:1'


        process = subprocess.Popen(command, stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True)

        output_data, stderr_data = process.communicate(input=input_stream.read())

        # If an error occurs during the FFmpeg execution, log the error message
        if process.returncode != 0:
            print(f"FFmpeg error: {stderr_data.decode('utf-8')}")
        else:
            print(f"FFmpeg output: {stderr_data.decode('utf-8')}")

        # Upload the extracted audio to S3
        output_key = f'{os.path.splitext(key)[0]}.mp3'
        s3.put_object(Bucket=output_bucket, Key=output_key, Body=BytesIO(output_data))

    return {
        'statusCode': 200,
        'body': 'Audio extracted and uploaded to S3'
    }

print文はトラブルシュート用です。
print("Contents of /opt/bin directory:")
print(os.listdir('/opt/bin'))
上記二つはffmpeg.zipのファイルが問題なく読み込めているかの確認

print("Received event:", json.dumps(event, indent=2))
上記はアップロードのイベントが読み込めているかの確認

print(f"Attempting to get S3 object with key: {key}")
上記はアップロードした動画ファイルが問題なく読み込めているかの確認

print(f"FFmpeg error: {stderr_data.decode('utf-8')}")
print(f"FFmpeg output: {stderr_data.decode('utf-8')}")
上記はffmpegの処理がうまくいったかどうかの確認

環境変数を導入しているため上記で環境変数を追加していない場合には追加しましょう。

結果

成功した場合に上記のprint文でどのように表示されるのかを添付します。

課題

https://ffmpeg.org/general.html
上記によると様々な動画ファイルのフォーマットに対応していることがわかる。
上記のLambda関数ではmp4, avi, movについては実施済み。
movについては上記Documentationを見る限り対応してそうだがLamda関数上ではエラーとなる。
直接音声に変換するのではなく一旦mp4などに変換してから音声に変換する方法があるかも。

次回

↑その3
次回は4~5を実装予定
最後までご覧いただきありがとうございました。

PCからS3に手動で動画をアップロード
S3への動画ファイルのアップロードをトリガーにLambdaを実行
Lambdaで動画ファイルを音声ファイルに変換してS3の別のバケットに保存
S3への音声ファイルのアップロードをトリガーにTranscribeを実行
Transcribeで音声ファイルをテキストファイルに変換してS3の別のバケットに保存
S3へのテキストファイルのアップロードをトリガーに別のAIツールを用いてテキストファイルを要約する(予定)