AWS Summit New York 2024での生成AI関連の新発表まとめメモ

はじめに

現地時間 2024/7/10 に開催されている AWS Summit New York 2024 で多くの生成 AI 関連のアップデートが発表されました。

以下の公式ブログに随時発表が更新されていくようですが、本記事では基調講演などでの発表も踏まえて日本語で概要をまとめています。

Amazon Bedrock 関連

Claude 3 Haiku のファインチューニングが可能に (Preview)

• これまで Bedrock でファインチューニング可能なモデルは Titan や Cohere Command、Llama 2 のみだったが、Claude 3 Haiku が対象に追加された
• プレビュー時点ではオレゴンリージョンのみをサポート
• プレビュー利用を開始するにはアカウントチームまたは AWS サポートにコンタクトする必要がある

ナレッジベースが追加のデータソースをサポート (preview)

• これまでナレッジベースのデータソースは S3 のみだったが複数のデータソースが追加
• サードパーティサービスとしては Confluence、SharePoint、Salesforceが追加
• Web Crawler で URL を指定して 公開 Web ページから情報を取り込むこともできる

Guardrails の Contextual grounding check と ApplyGuardrails API を提供 (GA)

Contextual grounding check

• ガードレールの新しいポリシーとして Contextual grounding check が追加

• RAG システムにおいて LLM が複数の情報ソースを結合してハルシネーションを起こす可能性がある

• モデルの応答が参照ソースに基づいているか、ユーザーのクエリに関連しているかどうかを検証し、ハルシネーションを抑制する

  • RAG、要約、情報抽出などのユースケースで応答品質を向上を期待できる

• 参照ソースに基づいているか、クエリの関連性、それぞれ有効無効、しきい値を設定可

  

• ソース、クエリ、およびモデル応答のすべての文字を組み合わせてテキストユニット数が計算され、1,000テキスト単位あたり $0.1 の課金が発生する

ApplyGuardrails API

• 独立した API として ApplyGuardrails API を提供
• ApplyGuardrailAPI を使用すると、基盤モデルを呼び出さずに任意のテキストを評価できる
• Bedrock の基盤モデルとは切り離されているため、(アプリケーションの作りこみ次第ではあるが) どんなインフラで動作する、どんな基盤モデルであっても同一のガードレールを適用できる

Agents for Amazon Bedrock でメモリ保持が可能に (Preview)

• エージェントが各ユーザーとの会話の概要をメモリへ保持できるようになる
• ユーザー対応のやり取りを記憶できるため、ユーザーの好みを把握して対応するなど、複雑な処理におけるユーザーエクスペリエンスが向上する
• 会話履歴とコンテキストはユーザー毎の完全な分離をサービス側で保証
• 基盤モデルはClaude 3 Sonnet および Haiku のみをサポート

Code Interpretation for Agents の発表 (Preview)

• エージェントは安全なサンドボックス環境内でコードスニペットを動的に生成して実行できるように

• 思考過程や生成されたコードなどはエージェントのトレースから確認できる

  

• エージェントにドキュメントを直接アップロードする機能も追加されたため、Code Interpretation と組み合わせて、データ分析、データ視覚化などの複雑なタスクをこなすことができる
  　
  

ナレッジベースで高度な RAG 機能を構成可能に (GA)

• 組み込みチャンキング戦略の追加 (Semantic chunking, Hierarchical chunking.)

  

• Lambda 関数を指定して、ユーザーが自由にチャンク化を行うことが可能に

  • LangChain などのフレームワークも活用できる
    

• ドキュメントの解析に基盤モデルを使用可能に

  • PDF などに含まれる表形式のコンテンツなどに対しても検索精度を向上を期待できる

  

• クエリ拡張のサポート

  • クエリをサブクエリに分解し、それぞれの関連情報を取得し、その結果を組み合わせて最終的な包回答を生成する

Amazon Bedrock Prompt Management および Prompt Flows の提供 (Preview)

Prompt Managemnet

• プロンプトを作成、評価、管理、共有するための機能

• 作成したプロンプトはバージョン管理を行い、API から呼び出して利用することが可能

  

Prompt Flows

• 1 つタスクの出力を別のタスクの入力として使用するようなワークフローを、ビジュアルエディターにより作成できる

  • Azure Machine Learning prompt flow や Dify のような機能を提供するイメージ

• ナレッジベースや Agent などの機能はもちろん、Prompt Management で管理するプロンプトや Lambda 関数呼び出し、S3 への出力などが Node として用意されている

  • 必要な設定を行って線をつなぐだけでできあがり

  

• 公式アナウンス前に日本の Bedrocker たちがコンソールに追加されているのを発見し、ひと盛り上がりしたが、時間の関係か Summit New York の基調講演では大きく取り上げられなかった

Amazon Q 関連

Amazon Q in SageMaker Studio (GA)

• Amazon Q Developer が SageMaker Studio で利用可能に
• Studio の Jupyter Notebook に組み込まれ、自然言語でステップバイステップのガイダンスやコード生成、トラブルシューティングの支援が可能

Amazon Q Apps が GA

• 2024 年 4 月にパブリックプレビューとして発表されていた Amazon Q Apps が GA
• Amazon Q Business の機能のうちの一つで、接続されたビジネスデータを活用し自然言語で特定タスクに特化した個別のアプリを構築できる
• GA にあわわせて Amazon Q Apps の API も提供

Amazon Q Developer のコード推奨のカスタマイズ機能が GA

• 組織内のプライベートコードベースに接続し、それらの情報を踏まえたうえでコード推奨を行う機能が一般利用可能に
• あわせてコードベースの構造や特定の関数、メソッド、または API の機能等についてチャットベースで質問できる機能が Preview として提供

新サービス

AWS App Studio の発表 (Preview)

• 自然言語でビジネスアプリケーションの作成が可能になるノーコード/ローコード系の新サービス
• AWS サービスやサードパーティサービスへのコネクタが組み込まれており、DynamoDB などのデータソースに接続したり、API で外部サービスに接続したりできる
• Bedrock Studio と同様、IAM Identity Center の利用が前提のサービスなので注意
  • App Studio の Preview がオレゴンリージョンで提供されるため、IAM Identity Center もオレゴンリージョンで構成されている必要がある
• サービス自体の利用料は無料で、ユーザーが公開されたアプリケーションを使用された使用した時間に対して課金される

その他

Amazon MemoryDB のベクトル検索が GA

• 1 桁ミリ秒のクエリと更新レイテンシーで AWS 上のベクトルデータベースの中で、最も高速なベクトル検索パフォーマンスを実現
• クラスターを作成または更新する際に明示的にベクトル検索機能を有効化する必要がある

再生可能エネルギー 100% 目標を 7 年早く達成

• Amazon の全事業所で消費する電力の 100 % を 2025 年までに再生可能エネルギーで賄うことを目指していたが、これを 2023 年に達成したと発表
• 当初の目標であった 2030 年よりも 7 年早く達成
• 電力消費量という観点では生成AIも深く関わる問題

以上です。
参考になれば幸いです。