前書き
2024年8月の末にAmazon Bedrock がクロスリージョン推論をサポートしました。
クロスリージョンとは、複数のAWSリージョン間でリソースを共有・活用する機能です。
この機能の利点は、クォータ制限を超えて利用できることです。
例えば、東京リージョンでAnthropic Claude 3.5 Sonnetを利用する場合、1分間に20回という呼び出し制限が設定されています。
検証段階では大きな問題になりませんでしたが、実際にサービスを公開した場合、この制限では不十分です。
使い方
クロスリージョン推論の設定は非常にシンプルです。
使用するModel IDをInference profile IDに置き換えるだけで利用可能になります。
例えば、東京リージョンのAnthropic Claude 3.5 Sonnetの場合：
anthropic.claude-3-5-sonnet-20240620-v1:0から
apac.anthropic.claude-3-5-sonnet-20240620-v1:0
に変更するだけで設定は完了です。
注意点
注意点が1点ございます。AWS Organizationsのサービスコントロールポリシー（SCP）によってリージョンの使用が制限されているアカウントの場合、事前に管理者へ分散先リージョンの使用許可を申請する必要があります。
apac.anthropic.claude-3-5-sonnet-20240620-v1:0利用する場合、下記のリージョンで許可設定行わなければいけません。
- ap-northeast-1
- ap-northeast-2
- ap-southeast-1
- ap-southeast-2
- ap-south-1
マネコンからAgentに適応する場合
エージェントビルダーの編集画面で、モデルを選択かから使用したいモデルの推論タイプを開き、推論プロファイルからクロスリージョンを選択して適応します。
CDKからAgentに適応する場合
Amazon Bedrock のメニューバーからCross-region inferenceを開き
使用したいInference profile IDをコピーします。
foundationModelの値をそれに置き換えれば完成です。
const xxxagent = new CfnAgent(this, 'Xxxagent', {
...
foundationModel: 'apac.anthropic.claude-3-5-sonnet-20240620-v1:0',
...
補足
2点補足します。
- クライアントからAmazon Bedrock Agentを呼び出す時に使用する
InvokeAgentCommand、クロスリージョン推論プロファイルでも対応します - リクエストの分散先として利用されるリージョンでも、該当モデルのアクセス許可が必要です
ただし、一部のリージョンでは、該当モデルは Cross-region inference対応してるため、何もしなくても使えます
東京リージョンで利用するClaude 3.5 Sonnetのクロスリージョンプロファイルでは、ap-northeast-2（ソウル）リージョンのみ手動での有効化が必要です。