Bedrockの呼び出し設定
バッチ推論
大量のデータを一度に処理する場合に使用されます。
ストリーミング
長い応答をリアルタイムで少しずつ受信することを可能にするため、チャットボットやユーザー体験が重要なシナリオに適しています。
バッチ推論
大量データの効率的な処理
企業の顧客レビューのように、一度に大量のプロンプトを処理できます。
結果の保存
推論結果はS3に保存され、後で簡単にアクセスして分析が可能です。
非同期処理
処理がリアルタイムで行われる必要がない場合に最適です。例えば、夜間にバッチジョブを実行して結果を翌日利用するなどの運用が可能です。
バッチ推論ジョブの作成ステップ
- バッチ推論に使用する入力データをS3バケットにアップロードする。
- S3バケットに入力データを用意した後、推論に使用するモデルやその他の設定をBedrockで構成し、バッチジョブを開始する。
クロスリージョン推論
Bedrockにおいて、複数のAWSリージョン間でトラフィックを分散させることで、需要のピーク時に高いスループットと耐障害性を実現する機能です。
これにより、計画外のトラフィックバーストをシームレスに管理し、サービスの安定性を向上させることができます。