TISAdvent Calendar 2024

TIS株式会社

Amazon Bedrock ナレッジベースを利用して、簡易的なRAGを作ってみた

Posted at 2024-12-16

はじめに

ナレッジベースを利用して、簡単にRAGを構築できました。
実装の流れをご紹介します。

ナレッジベースに関するAWSのドキュメントは以下です。
https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html

受講したUdemyの講座

Bedrockを使ってみたいと思って、ハンズオンを含むUdemyの講座を受講しました。
当講座の難易度は高くないと思います。AWS、Python、英語いずれも初心者の私でも楽しみながら取り組めました。

実装するシステム構成

今回構築する構成では、Amazon OpenSearch Serviceを使っている間、1時間ごとに料金が発生します。
記事の最後にコレクションの削除手順を紹介します。

上記のUdemy講座に含まれるユースケースを基に、簡易的なRAGアプリケーションを実装します。
ベクトルDBにはBedrockのユーザーガイドを格納して、Bedrockについて回答してくれるアプリを実装します。
～Use Case 5 : Serverless e-Learning App using Bedrock Knowledge Base + Claude FM + AWS Lambda + API Gateway～

大まかな実装の流れ

データストアを用意する（S3）
ナレッジベースを作成する（Bedrock）
Lambda関数を書く
APIを作る

データストアを用意する

S3バケットを作成します
- リージョンは「バージニア北部」にしてみました。東京リージョンは使えるモデルが少ないので。
- 設定はすべてデフォルトで問題ないと思います
Bedrockのユーザーガイド（PDF）を一度、ダウンロードします
https://docs.aws.amazon.com/bedrock/?icmpid=docs_homepage_ml
上記のファイルを1.で作成したバケットにアップロードします

ナレッジベースを作成する

Bedrockのページを開く
左のメニュー最下部の、Bedrock configurations の下にある「モデルアクセス」をクリックする
「すべてのモデルを有効にする」か「特定のモデルを有効にする」ボタンをクリックして、使用したいモデルのアクセスをリクエストする
左のメニュー中段の、オーケストレーションの下にある「ナレッジベース」をクリックする
「ナレッジベースを作成」というオレンジ色のボタンをクリックして、「Knowledge Base with vector store」を選択する
ナレッジベースの詳細を入力
- IAMロールは「新しいサービスロールを作成して使用」
- Data source details は「Amazon S3」
- 「次へ」をクリック
データソースを設定
- 作成したS3を設定する
- チャンキング戦略は「デフォルトチャンキング」で問題ないと思います
- 「次へ」をクリック
埋め込みモデルを選択し、ベクトルストアを設定する
- 埋め込みモデルは「Titan Text Embeddings v2」にしてみました
- ベクトルデータベースは「新しいベクトルストアをクイック作成 - 推奨」
- 「次へ」をクリック
設定内容を確認して、問題がなければ「ナレッジベースを作成」をクリック
- ベクトルデータベースの作成完了まで、数分待ちます
ナレッジベースが作成完了したら、データソースを選択して同期
- 同期完了まで数分待ちます
右側のウィンドウでコンソール上からテストしてみます
- モデルを選択。「Claude 3 Sonnet v1」にしてみました
- テストしてみます
  
  動きました！

Lambda関数を書く

関数の作成
- リージョンは「バージニア北部」
- ランタイムは「Python 3.13」を選択
タイムアウト設定を伸ばしておく
- Bedrockの応答は多少時間がかかるため、デフォルトの3秒のままだとタイムアウトになってしまう
アクセス権限の編集
- 対象のロール名をクリックすると、IAMのページが開きます
- 「AmazonBedrockFullAccess」ポリシーをアタッチします

コードを書きます
サンプルコードは以下です。

lambda_function.py

import json
#1 import boto3
import boto3
#2 create client connection with bedrock
client_bedrock_knowledgebase = boto3.client('bedrock-agent-runtime')

def lambda_handler(event, context):
    #3 store the user prompt
    print(event['prompt'])
    user_prompt=event['prompt']
    #4 use retrieve and generate API
    client_knowledgebase = client_bedrock_knowledgebase.retrieve_and_generate(
        input={
            "text": user_prompt
            },
        retrieveAndGenerateConfiguration={
            "type": 'KNOWLEDGE_BASE',
            "knowledgeBaseConfiguration": {
                "knowledgeBaseId": 'KNOWLEDGEBASE_ID',
                "modelArn": 'model_arn'
            }
        }
    )
    response_kbase_final=client_knowledgebase['output']['text']
    return {
        'statusCode': 200,
        'body': response_kbase_final
    }

ポイントをお伝えします。

(#2) clientを定義します。詳細はこちらに。
(#4) retrieve_and_generateを使用します。RAGにおけるretrieveとgenerateの両方をまとめて実行してくれるAPIです。詳細はこちら。
- サンプルコードでは最低限必要なフィールドを埋めてあります
- knowledgeBaseIdはナレッジベースの概要からコピペしてください
- modelArnはBedrockのModel catalog からモデルを選んで、Model IDを指定してください。例えば、Anthropic の Claude 3 Sonnet なら"anthropic.claude-3-sonnet-20240229-v1:0"です

テストしてみます

{
  "prompt": "What is the retrieve_and_generate API?"
}

Response:
{
  "statusCode": 200,
  "body": "The RetrieveAndGenerate API is an operation in Amazon Bedrock that combines several steps to query a knowledge base and generate responses based on the retrieved information. It internally uses the GenerateQuery operation (if the knowledge base is connected to a structured data store), the Retrieve operation to retrieve relevant information from the data sources, and the InvokeModel operation to generate a response based on the retrieved information. The RetrieveAndGenerate API allows you to configure the retrieval and generation process by specifying details such as the type of data source (knowledge base or external sources), external source configuration, and knowledge base configuration. It returns the generated response text as output."
}

問題なさそうです！

APIを作る

API Gatewayのページを開く
「APIを作成」をクリック
- REST APIの「構築」をクリック
- 設定はデフォルトのままで問題ないです。「APIを作成」をクリック
「メソッドを作成」をクリック
- メソッドタイプは「GET」
- Lambda関数に今回作成したものを指定します
- 「メソッドを作成」をクリック
メソッドリクエストの設定から「編集」をクリック
- リクエストバリデーターを「本文、クエリ文字列パラメータ、およびヘッダーを検証」に変更
- ▶URL クエリ文字列パラメータを展開して、「クエリ文字列を追加」をクリック
- 名前をpromptとして「保存」をクリック
統合リクエストの設定から「編集」をクリック
- ▶マッピングテンプレートを展開して、「マッピングテンプレートの追加」をクリック
- コンテンツタイプをapplication/jsonにします
- テンプレート本文を以下の内容にして、「保存」をクリック
```
{
"prompt":"$input.params('prompt')"
}
```
「APIをデプロイ」をクリックして、「新しいステージ」を選択しdevという名前にして、「デプロイ」をクリック
コンソールからテストしてみます

レスポンス本文
{"statusCode": 200, "body": "You can use the following embedding models in Amazon Bedrock Knowledge Bases:\n\n- Amazon Titan Embeddings G1 - Text (supports floating-point vectors)\n- Amazon Titan Text Embeddings V2 (supports floating-point and binary vectors)\n- Cohere Embed (English) (supports floating-point and binary vectors)\n- Cohere Embed (Multilingual) (supports floating-point and binary vectors)"}

成功です！🎉

ナレッジベースとOpenSearch Serviceコレクションの削除

Amazon OpenSearch Serviceを使っている間は1時間ごとに料金がかかります。
削除手順を紹介します。

ナレッジベースの削除

Bedrockのページから、該当のナレッジベースのを選択して削除します。

OpenSearch Serviceコレクションの削除

Amazon OpenSearch Serviceのページを開いて、サーバレスのダッシュボードから該当のコレクションを選択して削除します。

まとめ

以上、Amazon Bedrock ナレッジベースを利用して、簡易的なRAGを構築する手順をご紹介いたしました。

この構成だととってもお手軽にRAGを構築できる反面、OpenSearch Service を使用している間、料金がかかり続けてしまいます。
ご紹介したUdemyの講座では、自分でベクトルDBへの埋め込みや回答生成を実装するユースケースのハンズオンも含まれています。もし興味を持たれた方は、試してみてください！

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up