プロビジョンドスループット
Bedrockが提供する機能で、
『特定のモデルに対して、固定のスループット容量を事前に確保する』
ことができます。
これにより、モデルの呼び出し頻度が高い場合でも、安定した性能を維持できます。
特に、大規模な生成AIモデルを使用する際、推論リクエストに対して、安定したパフォーマンスを提供するために利用されます。
ユースケース
予測可能で一貫したスループット が求められるユースケースで利用されます。
- リアルタイムで多くのリクエストに対応する必要があるアプリケーション
- 生成AIモデルを用いた大規模な推論ワークロード
スループットを事前にプロビジョニングすることで、リクエストの増減に応じた動的なリソース調整が不要になり、パフォーマンスの確保が容易になります。
オンデマンドモードの料金体系
通常、オンデマンドモードにおけるテキスト生成モデルの使用料金は、
- 処理された入力トークン
- 生成された出力トークン
の数に基づいて計算されます。
一方、プロビジョンドスループットモードは、特定のスループットを確保するためにモデルユニットを「時間単位」で購入します。