Aurora MySQL 3.06 の ML 機能で Bedrock アクセスを試してみた #AWS

Aurora PostgreSQL では昨年末の時点ですでにサポートされていましたが、Aurora MySQL でもこちらの記事のとおり ML 機能で Bedrock へのアクセスがサポートされたので、試してみました。

環境を準備する

試すには以下の環境が必要です。

Bedrock をサポートするリージョンと VPC
- 今回は東京リージョンで試しました
有効化された Bedrock のベースモデル
- 今回は Claude 2.1 で試しました
Public Network にアクセス可能な Aurora クラスター／インスタンス
- 今回は Aurora を Private Subnet に配置し、NAT ゲートウェイ経由で Bedrock にアクセスできるよう構成しました
- Bedrock の VPC エンドポイントも試そうとしましたが、Aurora からエンドポイント指定できないのでうまく使えませんでした
Aurora にアクセス可能な EC2 など
- MySQL Client のインストールが必要です
- 今回の主題ではないので設定手順等は省略します

手順はこちらの公式ユーザーガイドを参考にしました。

Bedrock のベースモデルを有効化する

東京リージョンで Anthropic Claude を有効化します。

今回必要なのは下から 2 つ目です。

VPC を作成する

東京リージョン
3 つの AZ（AZ-a・c・d）
Public Subnet と Private Subnet の両方あり
NAT ゲートウェイあり

で作成します。

Aurora 用のポリシーとロールを作成する

Aurora から Bedrock を呼び出すためのポリシーとロールを作成します。

まずはポリシーから。

Bedrock のInvokeModelを、すべてのリソースに対して許可します。

適当な名前で作成します。

続いてロールを作成します。

RDS の「Add Role to Database」を選択します。

先ほど作成したポリシーを追加します。

適当な名前で作成します。

DB サブネットグループを作成する

最初に作成した VPC のうち、3 つの AZ にまたがる Private Subnet を選んで DB サブネットグループを作成します。

Aurora クラスターのパラメータグループを作成する

Bedrock アクセス用のロールを指定するために、Aurora クラスターのパラメータグループを作成します。

作成したパラメータグループを編集して、

aws_default_bedrock_roleの値として、先ほど作成したロールの ARN を入れて保存します。

Aurora クラスター／インスタンスを作成する

Aurora MySQL 3.06.0
パブリックアクセスなし
- 今回は Private Subnet に置いて NAT ゲートウェイで Bedrock にアクセスするため
先ほど作成した DB サブネットグループ
新規の VPC セキュリティグループ
- 今回は EC2 コンピューティングリソースへの接続ついでに作成
先ほど作成した Aurora クラスターのパラメータグループ

を指定します。

今回は Aurora に接続する EC2（過去の使い回し）の都合で古い証明書（今年の夏に期限が切れるもの）を指定していますが、通常は新しいものを使います。

作成が完了したら、最初のほうで作成したロールをクラスターに追加します。

さらに、Aurora インスタンスに設定されたセキュリティグループのアウトバウンドルールを編集して、Public Network に HTTPS アクセスできるようにしておきます。

これで環境が準備できました。

試してみる

EC2 から Aurora に MySQL Client で接続して試してみます。

Bedrock アクセス用のストアドファンクションを作成する

まずはテスト用の DB（スキーマ）を作成します。

DBスキーマ作成

CREATE DATABASE bedrock_test;
USE bedrock_test;

続いて、Bedrock に接続するための権限を、接続中の MySQL ユーザーに付与します。

権限付与(1)

GRANT AWS_BEDROCK_ACCESS TO 【接続中ユーザー】;

そして Claude 2.1 アクセス用ストアドファンクションを作成します。

ストアドファンクション作成

CREATE FUNCTION invoke_claude (request_body TEXT)
    RETURNS TEXT
    ALIAS AWS_BEDROCK_INVOKE_MODEL
    MODEL ID 'anthropic.claude-v2:1'
    CONTENT_TYPE 'application/json'
    ACCEPT 'application/json';

ストアドファンクションの実行権限も接続中の MySQL ユーザーに付与します。

権限付与(2)

GRANT EXECUTE ON FUNCTION bedrock_test.invoke_claude TO 【接続中ユーザー】;

プロンプト用テーブルを作成し、サンプルデータを挿入する

プロンプトを入れるためのテーブルを作成します。

テーブル作成

CREATE TABLE prompts (request varchar(1024));

そこにサンプルデータを入れます。

サンプルデータ挿入

INSERT INTO prompts VALUES (
'{
    "prompt": "\\n\\nHuman: JAWS-UGってなんですか？\\n\\nAssistant:",
    "max_tokens_to_sample": 300,
    "temperature": 0.5,
    "top_k": 250,
    "top_p": 1,
    "stop_sequences": [
        "\\n\\nHuman:"
    ],
    "anthropic_version": "bedrock-2023-05-31"
}');

実行

ストアドファンクションを使って Claude 2.1 に問い合わせてみます。

実行

SELECT invoke_claude(request) FROM prompts\G

すると、こんな結果が返ってきました（惜しいような惜しくないような…）。

結果

mysql> SELECT invoke_claude(request) FROM prompts\G
*************************** 1. row ***************************
invoke_claude(request): {"completion":" JAWS-UGとは、スクリーンリーダー「JAWS」のユーザーグループのことです。\n\nJAWSは視覚障害者などのためのスクリーンリーダーソフトウェアで、コンピュータの画面上のテキストを音声で読み上げることができます。JAWS-UGはこのJAWSを利用しているユーザーのコミュニティです。\n\nJAWS-UGでは、JAWSに関する情報交換やノウハウの共有、JAWSの操作方法や設定のアドバイスなどを行っています。また、JAWSの新しいバージョン情報や、視覚障害者向け情報技術全般に関する情報も提供しているようです。\n\n視覚障害者の情報アクセスを支援する技術の一つとして重要なJAWSですので、JAWS-UGはJAWSユーザーにとって有益なコミュニティだと思います。","stop_reason":"stop_sequence","stop":"\n\nHuman:"}
1 row in set (8.06 sec)

Aurora PostgreSQL との違い

Aurora PostgreSQL との違いで大きいのは、

MySQL にはベクトルを保存して検索する機能がない
- PostgreSQL には pgvector がある
Bedrock へのアクセスでも、埋め込み（Embeddings）用のモデルをサポートしていない

点でしょう。

このあたりをサポートしていれば、ベクターストアとしての活用が捗りそうなのですが。