■はじめに

この記事は株式会社ナレッジコミュニケーションが運営するクラウドAI by ナレコム Advent Calendar 2024の10日目にあたる記事になります！

本記事ではre:Invent 2024で発表されたAmazon Bedrockの新機能「インテリジェントプロンプトルーティング」と「プロンプトキャッシュ」について、ビジネスユーザー向けにサービスの概要や特徴、メリットについて簡単にご紹介致します。
生成AIを使ってるけど、本格的に利用するのは、コストが高くて運用に不安を感じている方に向けた機能となってます。

■背景

生成AIは、質問や依頼に応じてテキストや画像を生成する技術です。現在、さまざまな場面で利用が広がっています。しかし活用において、以下の課題があります。
・コストの負担
・応答の遅延（レイテンシー）
・管理の煩雑さ

■新機能の概要

(1)Amazon Bedrock インテリジェントプロンプトルーティング
プロンプトの内容に基づいて、適切な基盤モデルを自動選択するサービスとなってます。大きな荷物はトラック、小さな荷物は自転車便で運ぶように、効率よくリクエストを処理します。
・利点:
　最大30%のコスト削減。
　モデルの選択が不要で、運用が簡単。

・仕組み
プロンプト解析: 内部モデルがプロンプトを解析し、適切なモデルを予測。
モデル選択: 予測結果に基づき、応答品質とコストのバランスを最適化するモデルを選択。
フォールバック対応: 適切なモデルがない場合は、フォールバックモデルに切り替え
※注意: プレビュー段階では英語のプロンプトのみ対応

(2)Amazon Bedrock プロンプトキャッシュ
頻繁に使用するプロンプトをキャッシュして再利用可能にするもので同じ質問を覚えておいて、すぐに答えられる仕組みとなってます。
・利点:
　最大90%のコスト削減。
　最大85%のレイテンシー短縮。

・仕組み
　プロンプトが一定のトークン数を超えるとキャッシュされる仕組み。
　各モデルのキャッシュ可能なトークン数やチェックポイント数が異なります。
例: Claude 3.5 Haikuは最大8,192トークンをキャッシュ可能。

■料金について

(1)Amazon Bedrock インテリジェントプロンプトルーティング
この機能自体に追加料金はかかりません。使用した基盤モデルの料金を支払います。

(2)Amazon Bedrock プロンプトキャッシュ
キャッシュに保存されたデータの読み取りは、通常の入力トークンと比較して最大90%割引されます。Amazon Novaモデルではキャッシュ書き込みに追加料金はかかりませんが、Anthropicモデルではキャッシュ書き込みに追加費用が発生します。

■利用可能なリージョン

(1)Amazon Bedrock インテリジェントプロンプトルーティング
・米国東部 (バージニア北部)
・米国西部 (オレゴン)

(2)Amazon Bedrock プロンプトキャッシュ
・米国西部 (オレゴン): Anthropic’s Claude 3.5 Sonnet V2 と Claude 3.5 Haiku
・米国東部 (バージニア北部): Amazon Nova Micro、Amazon Nova Lite、Amazon Nova Pro

※他のリージョンでも今後利用可能になる予定です。最新情報はAWSの公式ページをご確認ください。

■ユースケース

(1)Amazon Bedrock インテリジェントプロンプトルーティング
報告書やブログ記事等のテキスト生成、要約：長文の文章を簡潔に要約してくれます。必要な情報を短時間で抽出することも可能なため、複雑なレポートやニュース記事を理解する際に便利です
(2)Amazon Bedrock プロンプトキャッシュ
・ドキュメントQ&Aシステム: ユーザーが同じドキュメントに対して複数回質問する際、プロンプトキャッシュを使用するとコスト削減と高速化が可能。
・コーディングアシスタント: 同じコードコンテキストを管理する際に効率的。

■最後に

Amazon Bedrockの新機能「インテリジェントプロンプトルーティング」と「プロンプトキャッシュ」は、生成AIの運用効率を高め、コスト削減や応答速度向上を実現する便利なツールです。
今後もアップデートが楽しみですね！お読み頂きありがとうございました！