More than 1 year has passed since last update.

AWS lamdaからS3にファイルをアップロードする

Posted at 2022-10-26

いろいろなやり方があるようで、右往左往してしまったので、その経緯を備忘録的に残します。

結論として、

API gatewayでマッピングテンプレートを設定する
API gatewayでバイナリメディアタイプを設定する
lambdaロールにS3へのアクセス権限を付与する
がポイントのようです。

lambda関数の作成

pythonで作成します。

AWS lambdaから関数の作成へ
任意の関数名を入力、python 3.8を選択して関数を作成します。
参考記事のままですが以下のコードを使用しました。関数名はuploadFilesとしています。

uploadFiles

import json
import boto3
import base64
import io
from datetime import datetime
import cgi

BUCKET_NAME='mybucket22021015'
DIRECTORY='uploadedfiles/'

s3 = boto3.resource('s3')

def lambda_handler(event, context):
    bucket = s3.Bucket(BUCKET_NAME)
    
    body = base64.b64decode(event['body-json'])
    #body = event['body']
    fp = io.BytesIO(body)
    
    environ = {'REQUEST_METHOD': 'POST'}
    headers = {
        'content-type': event['params']['header']['content-type'], 
        'content-length': len(body)
    }

    fs = cgi.FieldStorage(fp=fp, environ=environ, headers=headers)
    for f in fs.list:
        print("filename=" + f.filename)
        bucket.put_object(Body=f.value, Key=DIRECTORY+f.filename)

    return {
        'statusCode': 200,
        'body': json.dumps('アップロード完了')
    }

API gatewayの作成

関数URLではなくAPIgatewayを使用します。

API gatewayからAPIを作成をクリック]
REST APIを構築します
任意のAPI名を入力してAPIの作成をクリック
アクションからメソッドの作成。作成されたフィールド右端の下向き三角みたいな記号をクリックするとメソッドを選択できる。クライアント側からのデータを取得できるようにPOSTを選択する。フィールド横のチェックマークをクリック

lambda関数を選択し、上記で作成したlambda関数のリージョン、関数名を入力して保存をクリック
デプロイの仕方：アクションからAPIのデプロイを選択します。適当なステージ名を入力してデプロイしましょう。URLの呼び出し欄に表示されるURLでアクセスすることができるようになります。

動作確認１

動作確認はGoogleChrome拡張機能のTalend API Testerを用いました。
下記のように入力した後に、Sendボタンを押します。

ここまでの設定ではうまくいきませんでした。Content-Type:multipart/form-dataで受け取れるようにするにはAPI gatewayでマッピングテンプレートを設定する必要があるようです。

API gateway　マッピングテンプレートの設定

先に設定したPOSTメソッドの「統合リクエスト」をクリックします。
「マッピングテンプレート」をクリックします。
推奨の「テンプレートが定義されていない場合」のラジオボタンを選択し、「マッピングテンプレートの追加」をクリックします。
Content-Typeにmultipart/form-dataを入力し、チェックマークをクリックします。
テンプレートの生成の右端にある下向き矢印をクリックします。
次いで、「メソッドリクエストのパススルー」を選択するとテンプレートが自動入力されます。特に編集しないまま保存ボタンをクリックしましょう。
これでマッピングテンプレートの設定は完了です。念の為、再度デプロイしました。

動作確認２

動作確認１と同様にテストしましたが、やはりエラーとなりました。エラーメッセージは、
string argument should contain only ASCII charactersとのこと。

API gateway バイナリメディアタイプの設定

さらにAPI gatewayの設定が必要でした。

1.API gatewayのナビゲーションバーより、「設定」をクリック

一番下にスクロールしてバイナリメディアタイプを追加します。
「multipart/form-data」を入力して、変更の保存ボタンをクリックします。再度、デプロイしておきましょう。

動作確認３

まだエラーとなります。エラーメッセージは、
An error occurred (AccessDenied) when calling the PutObject operation: Access Denied

lambdaからS3を操作する権限がないので怒られている感じですね。

lambda ロールの設定

lambdaの設定タブから「アクセス権限」をクリックします。
lambda関数に設定されているロールを確認できます。これをクリックするとIAMが開きます。
許可を追加ボタンからポリシーをアタッチすることができます。「インラインポリシーを作成」からの方がわかりやすいかと思います。
「インラインポリシーを作成」をクリック後に現れる画面で、サービスにS3を選択します。アクションについては、今回はListBucket、GetObject、PutObjectの３つを設定しました。
各アクションの対象となるリソースを指定する必要があります。予め準備しておいたS3バケットを設定します。