LambdaとAPI Gatewayを用いて, S3にpdfファイルをアップロード＆ BedRock ナレッジベースを同期

LambdとAPI Gatewayを用いて、S3にファイルをアップロードし、Amazon BedRockのナレッジベースの同期を行ったので、備忘録としてまとめます。クライアントがファイルをアップロードして、それを基にRAGできるようになります。

ナレッジベースの作成

1. S3 > バケットを作成

2. AmazonBedRock > ナレッジベース > ナレッジベースを作成

3. Choose data sourceでAmazon S3を選択
   

4. 「s3を参照」から先ほど作成したS3をデータソースとして選択
   

   

5. 適当な埋め込みモデルとベクトル次元を選択
   

6. ナレッジベースを作成
   ナレッジベースに戻って、作成できたことをチェック

Lambdaを作成

1. Lambda > 関数作成
2. • 適当な関数名
   • ランタイム：Python 3.8
   • 実行ロール：新しいロール作成
     
3. ロールが自動で作成されるの、権限を付与します

ロールに権限を付与

1. IAM > ロール > 先ほど作成したロールを選択
2. 許可を追加 > ポリシーをアタッチ
3. AmazonBedrockFullAccessとAmazonS3FullAccessを付与したロールを作成
   
   

API Gatewayを作成

1. Lambda > 関数 > 作成した関数
2. トリガーを追加
3. トリガー設定
   • APIタイプ：REST API
   • セキュリティ：開く
   • バイナリメディアタイプ：multipart/formd-data
     

API Gatewayを作成

1. API Gateway > API > APIを作成
2. REST APIを選択
3. 任意のAPI名を入力
4. APIを作成
5. メソッドを作成
   • メソッドタイプ：POST
   • Lmabda関数：作成したLambda関数
6. メソッドを作成

コードを編集

1. Lambda > 関数 > 作成した関数
2. コードは以下のものを使用します

import json
import boto3
import base64
import io
from datetime import datetime
import cgi

BUCKET_NAME = 'バケット名'
DIRECTORY = 'uploadedfiles/'

s3 = boto3.resource('s3')

def lambda_handler(event, context):
    bucket = s3.Bucket(BUCKET_NAME)

    body = base64.b64decode(event['body-json'])
    fp = io.BytesIO(body)

    environ = {'REQUEST_METHOD': 'POST'}
    headers = {
        'content-type': event['params']['header']['content-type'],
        'content-length': str(len(body))
    }

    fs = cgi.FieldStorage(fp=fp, environ=environ, headers=headers)
    for f in fs.list:
        print("filename=" + f.filename)
        bucket.put_object(Body=f.value, Key=DIRECTORY + f.filename)

    client = boto3.client('bedrock-agent')

    response = client.start_ingestion_job(
        dataSourceId='データソースID',
        knowledgeBaseId='ナレッジベースID'
    )

    return {
        "Access-Control-Allow-Headers": "Content-Type",
        "Access-Control-Allow-Origin": "*",
        "Access-Control-Allow-Methods": "POST",
        "Content-Type": "multipart/form-data",
        'statusCode': 200,
        'body': json.dumps('アップロード完了')
    }

バケット名とナレッジベース

コードにS3のバケット名とナレッジベースのデータソースID, ナレッジベースIDを入力します

APIの設定

1. 1. API Gateway > API >作成したAPI

2. APIの設定
   

3. バイナリメディアタイプを管理からmultipart/form-dataを追加
   
   このままだとCORSエラーになるのでCORSの設定をします

4. CORSを有効にする

5. Access-Control-Allow-MethodsでPOSTを選択
   

6. 保存

7. リソースからOPTIONを選択

8. 統合レスポンスを編集

9. マッピングテンプレート

   • コンテンツタイプ：multipart/form-data
   • テンプレートを作成からメソッドリクエストのパススルーを選択
     

10. 保存

11. メソッドレスポンス

    • レスポンス本文：multipart/formdata

    

12. 保存

13. リソースからPOSTを選択

14. 同様に同号レスポンスを編集からmultipart/formを追加

15. 保存したらAPIをデプロイ

あとがき

CORSのエラーに手を焼きました。

参考サイト