re:Invent 開催前日（12/1）
キーノート開始前ですが、この日からre:Inventとしてのアップデートがリリースされています。
Rerank APIが登場
- RAGの検索結果を、質問との関連度順に並び替える「リランク」用のAPIがBedrockに登場
- Amazon Rerank 1.0 と Cohere Rerank 3.5 の2モデルが東京を含む4リージョンで利用可能
- ナレッジベースでもリランク設定を有効化できるようになった
ナレッジベースがストリーミング出力に対応
- RAGアーキテクチャを簡単に構築できる機能、ナレッジベースが応答のストリーミング出力に対応
- 完全な回答出力完了を待たずとも、結果を順次表示できるためユーザーのストレスを軽減できる
- RetrieveAndGenerateStream APIを利用する
ナレッジベースがカスタムコネクタとストリーミング取り込みに対応
- ナレッジベースのデータソースに「カスタムコネクタ」が追加
- ソースドキュメントをS3などに配置せずとも、インライン指定したデータをベクトルDBへ直接インデックス化できる
- 従来のS3データソースにドキュメントを追加/削除する際も、ソース全体を再同期することなく差分のみをベクトルDBに反映できる
ナレッジベースが暗黙的なメタデータフィルタリングに対応
- ナレッジベースで検索を行う際、メタデータでフィルターするクエリーを自動生成できるように
- API呼び出し時のオプションとしてメタデータの概要と、生成に使うモデルを指定して使う
- 現状はClaude 3.5 Sonnetのみ対応
モデル評価にLLM-as-a-judgeが追加（プレビュー）
- Bedrockのモデル評価機能に LLM-as-a-judge が登場
- 従来の「人間による評価」「自動評価（NLPベース）」に加えて「自動評価（LLMベース）」が追加された形
- プロンプトデータセットはS3にJSONで格納して使う
ナレッジベースの評価機能が登場
- Bedrock ナレッジベースで生成した応答の品質を評価できる機能がプレビューで登場
- LLMを使って、RAGの生成結果を定量評価できる。評価メトリクスはプリセットの数種類から選択可能
- 出力にガードレールを適用して評価を行うこともできる
re:Invent 1日目（12/2）
ピーター氏によるインフラ系キーノートの日でした。
推論APIにレイテンシー最適化オプションが登場（プレビュー）
- AWSのインフラ最適化により、Bedrockの一部モデルで推論時間を短縮するオプションが利用可能になった
- Claude 3.5 Haiku と Llama 3.1 405B/70B が対応。オハイオリージョン、かつクロスリージョン推論限定
- InvokeModelやConverse APIで、
performanceConfigに”latency” : “optimized”を指定して使う
re:Invent 2日目（12/3）
新CEO マット氏によるメインキーノートの日でした。
Amazon Novaシリーズの基盤モデルが登場
- テキスト生成：Nova Pro, Lite, Micro（最上位のPremiumは近日登場）
- 画像生成：Nova Canvas
- ビデオ生成；Nova Reel
- Speech-to-Speechモデル（近日登場）
- Any-to-Anyモデル（近日登場）
モデルの蒸留機能が登場（プレビュー）
- パラメーター数の大きなモデルを教師として、同系統の小さなモデルを微調整する「蒸留」機能が登場
- 北米2リージョンのClaude 3.5、Llama 3.1に対応
- モデルの利用にはプロビジョンドスループットが必要
マルチエージェントのコラボレーション機能が登場（プレビュー）
- 複数のエージェントを協働させるオプションが登場
- エージェント作成時に「監督者」に指定することができる
- 「協力者」に指定したエージェントたちと連携して最終回答を生成する
ガードレールが自動推論チェックに対応（プレビュー）
- LLMが設定したポリシーに従って応答するよう、「自動推論」を利用してチェックする機能が追加
- ガードレール作成時のウィザードに「自動推論チェック」セクションが追加
- 申請制のプレビュー。オレゴンのみ利用可能
re:Invent 3日目（12/4）
Dr.スワミ副社長によるデータ＆AI系キーノートの日でした。
新たな基盤モデルがBedrockに追加予定（予告のみ）
- 新規モデルプロバイダー
- poolside：コード生成。主力のmalibuと軽量なpoint
- Luma AI：動画生成。 テキストや画像を入力に使える
- 既存モデルプロバイダー
- Stability AI：画像生成。 新バージョンのStable Diffusion 3.5
Bedrock マーケットプレイスが登場
- 100以上のサードパーティ製モデルをBedrockにデプロイできる
- 「モデルカタログ」画面が新設され、通常のBedrock基盤モデルと併せてブラウジングできる
- Bedrockの推論APIや、各種機能から呼び出すことができる。ただしサーバーレスではなく、選択したインスタンスタイプで時間単位の課金が発生するため注意
推論時のプロンプトキャッシュに対応（プレビュー）
- 対応モデルで推論を行う際、よく使われるトークンをキャッシュして5分間まで再利用できる
- コストを最大90%、レイテンシーを最大85%削減可能
- Converse APIで利用可能。対象にしたいメッセージに
cachePointブロックを追加して推論すればOK
推論時のプロンプトルーティングに対応（プレビュー）
- 同じモデルファミリーの複数のモデルを、プロンプトの複雑さに応じて自動でルーティングしてくれる新機能
- 「プロンプトルーター」を作成し、モデルIDの代わりに指定して使う
- AnthropicとMetaが選択可能。英語のみ対応のため注意！
データオートメーション機能が登場（プレビュー）
- 非構造化データ（ドキュメント/画像/音声/動画）を自動分析して要約や毒性検出、書き起こしなどをしてくれる新機能
- 「標準出力」モードではモダリティ毎に既定の処理を行う。「カスタム出力」モードではブループリントを指定して任意の分析ができる
- 「プロジェクト」を作成し、マネコンやAPIから非同期で処理を開始できる
ナレッジベースがマルチモーダルのデータ取り込みに対応（プレビュー）
- ナレッジベースの「パース戦略」に、Bedrock Data Automation（BDA）を使ったマルチモーダル対応パースが追加された
- 既存の「LLMによるパース」との違いが分かりづらいが、BDAはマネージドのため、モデルの選択や解析用プロンプトの編集ができない。課金体系も異なる
- オレゴンリージョンのみ利用可能
ナレッジベースが構造化データのクエリーに対応
- ナレッジベースのデータソースとして、データベースやデータウェアハウスを設定できるようになった
- 自然言語のクエリーをSQLに変換してRAGを実現してくれる
- データストアには、RedshiftもしくはGlueデータカタログをメタデータとして選択できる
ナレッジベースがGraphRAGに対応（プレビュー）
- グラフDBからの検索を行う「GraphRAG」にナレッジベースが対応。RAG精度向上の選択肢となる
- ベクトルDBにNeptune Analyticsが選択可能となった
- S3などのデータソースにドキュメントを配置するだけで、グラフDBへの変換処理をClaude 3 Haikuがやってくれる
Amazon KendraがGenAIインデックスに対応
- 検索サービスKendraにて、インデックス作成時に新たな「GenAIエディション」が選択可能となった。これをBedrockナレッジベースから利用できる！
- 従来のKendraインデックスに比べて、RAG用に検索精度が向上している
- 従来のKendraより大幅に値下げ。月額およそ35,000円〜で利用開始できる
ガードレールがマルチモーダル毒性検出に対応（プレビュー）
- ガードレールの「有害カテゴリ」のコンテンツフィルターを従来の「テキスト」だけでなく「画像」にも適用できるように
- ユーザーが入力した画像を条件に応じてブロックし不適切な内容の出力を防ぐことができる
re:Invent 5日目（12/6）
Aurora Serverlessがナレッジベースのクイック作成に対応
- ナレッジベースの作成時、ベクトルDBを自動構築してくれる機能「クイック作成」にAurora Serverlessが対応！
- これまではOpenSearch Serverlessのみが対応していた。より安価なベクトルDBで、RAGを簡単に構築できるようになった
- 先日Aurora Serverlessがゼロスケールに対応したが、本機能のテンプレートでは最新バージョンが指定されていない。対応するには手動でAuroraの設定変更が必要となるため注意