クラウドサービスAWSで最大の年次カンファレンス「AWS re:Invent」が2023年も開幕しました🎉
私は昨年までオンライン配信で楽しんでいましたが、今年は初めて現地ラスベガスに訪問できましたので、会場でしか聞けないナマ情報も含めてお届けします！
発表直後のサービスや、現地で口頭でのみ聞き取った情報なども多いため誤りを含む可能性があります。あらかじめご了承くださいますと幸いです。
初日・２日目分はこちらをどうぞ。
3日目のキーノートはAI担当Vice Presidentからの発表！
水曜朝は例年、AWSのVP スワミさんから機械学習・分析関連の新機能などがお披露目されます。
すでにYouTubeでアーカイブ動画も公開されています。
大きめの発表は以下でした
Amazon Bedrock関連
- Amazon BedrockにClaude 2.1がリリース
- Amazon BedrockにLlama 2の70Bモデルがリリース
- Amazon Titan Multimodal Embeddings
- Amazon Titan Image Generator
- Model Evaluaton on Amazon Bedrock
ベクターDB関連
- Vector engine for Opensearch Serverless
- Vector search for Amazon DocumentDB
- Vector search for Amazon DynamoDB
- Vector search for Amazon MemoryDB for Redis
Amazon Q関連
- Amazon Q generative SQL in Amazon Redshift
- Amazon Q data integration in AWS Glue
その他
- Amazon SageMaker HyperPod
- Amazon SageMaker Clarifyが基盤モデルの選択や評価をサポート
- Amazon SageMakerに多数のアップデート
- Amazon Neptune Analytics
- Amazon OpenSearch Service zero-ETL integration with Amazon S3
- AWS Clean Rooms ML
各アプデを簡潔にまとめ！
Amazon BedrockにClaude 2.1がリリース
先週、Anthropic社より発表された言語モデルの最新版Claude 2.1が早くもBedrockに追加されました！
元からデカかったコンテキストウィンドウが倍の200Kトークンになったり、ハルシネーション（嘘回答）が半減したりと色々強化されています。
これで今月初のOpenAI DevDayで登場した「GPT-4 Turbo」に負けていた点を早くも一部巻き返した形です。Claude on Bedrockの値下げも行われており、価格面でもGPT-4 Turboより安くなっています。
Amazon BedrockにLlama 2の70Bモデルがリリース
Meta社が公開しているオープンソースの言語モデル「Llama 2」でも最大パラメーター数の70BモデルがBedrockでも利用可能になりました。
先々週にLlama 2が初めてBedrockに登場した際にもブログを書いていますので、よろしければご覧ください。
Amazon Titan Multimodal Embeddings
Bedrockで利用可能なAmazonの生成AIモデルTitanが、テキストだけでなく画像もベクトル変換（Embedding）できるようになりました。これによって、画像混じりの文章でTitanに質問し、画像付きで回答をもらうチャットボットなどをアプリケーションに実装できるようになりそうです。
Amazon Titan Image Generator
BedrockのTitanシリーズにテキストだけでなく画像生成モデルも登場です。これまでBedrockではStability AI社のStable Diffusionシリーズのみが画像生成に利用可能でしたが、そこにTitanも追加された形です。
早速試している方も多かったですが、かなり高精度な画像を生成できており優秀そうでした。AWS的にはサードパーティの生成AIモデル提供各社への価格交渉などのためにも、自社モデルのTitanの開発には注力し続けるのかも知れませんね。
Model Evaluaton on Amazon Bedrock
Bedrockにモデル評価機能がプレビューリリースされました。これにより自分のユースケースではどの基盤モデルを選択すべきか、様々な観点から各モデルの定量評価結果を算出してもらうことができます。
Vector engine for OpenSearch Serverless
ここからはベクトルDB関連のアップデートです。生成AIで社内文書検索（RAG）のようなアーキテクチャを組もうとすると、テキストデータ等をAIが処理しやすいようベクトルに変換し、ベクターストアに格納する必要があります。
AWSのマネージド検索エンジンサービスOpenSearchは以前からベクターエンジンに対応していましたが、サーバーレス版のOpenSearch Serverlessへのベクターサポートも今年7月にプレビュー公開されていました。それが今回めでたくGAした形です。
プロビジョンド版OpenSearchのようにクラスター管理に手間をかけることなく、手軽に従量課金でベクターを活用できる選択肢が増えるのは嬉しいことですね。
Vector search for Amazon DocumentDB
AWSが提供するMongoDB互換のドキュメントDBサービス「DocumentDB」もベクター検索に対応しました。ちなみにドキュメントDBとは、JSONを格納して使うNoSQLデータベースです。
Vector search for Amazon DynamoDB
DocumentDBに加えてDynamoDBもベクター検索に対応したようです。しかしWhat's Newやドキュメント等が現時点でリリースされておらず詳細不明です。（苦笑）
Vector search for Amazon MemoryDB for Redis
ElastiCacheの高可用性版「MemoryDB」もベクター検索に対応しました！Redis互換のインメモリキャッシュサービスのため、高速なベクター検索がしたい場合に役立つものでしょうか。
Amazon Q generative SQL in Amazon Redshift
ここからは前日のアダム基調講演でも大変話題のAWS版コパイロット、Amazon Qアップデートです。
AWSがデータウェアハウス用に提供するマネージドRDB「RedShift」コンソール上での分析操作をAmazon Qがサポートしてくれるようになります。RedShift分析画面の右端にQのサイドバーが出現し、何がしたいかを自然言語で質問するとクエリを書いてくれたりするようです！
Amazon Q data integration in AWS Glue
AWSのマネージドETLサービス「Glue」にもAmazon Qが登場します。Glueのコンソールではデータ変換用のスクリプトをPython等で書いたりしますが、それをQが自然言語のQAでサポートしてくれるようです。
Amazon SageMaker HyperPod
ここからはAWSが提供する機械学習環境サービス「SageMaker」のアップデートです。
SageMakerを用いて基盤モデルの分散トレーニングを行う際、ノードが落ちたりしても学習ジョブを継続できる新たな仕組みがこのHyperPodのようです。名前かっこいいですね。。
Amazon SageMaker Clarifyが基盤モデルの選択や評価をサポート
SageMakerで機械学習モデルの定量評価をしてくれる機能「Clarify」が生成AIの基盤モデル評価をしたり、どのモデルが適しているかを選択するのをサポートしてくれるようになりました。前述のBedrock Model EvaluationのSageMaker版といった感じですね。
SageMakerではJumpStartを使ったり、HuggingFaceなど外部から持ち込んだ基盤モデルをデプロイできるのですが、そういったモデルを評価するのに便利そうです。
Amazon SageMakerに多数のアップデート
SageMakerには他にも多数のアップデートが実施されたようです。SageMaker StudioのUIも刷新されていました。そろそろ疲れてきたので詳細割愛します（苦笑）
Amazon Neptune Analytics
AWSが提供するマネージドなグラフDB「Amazon Neptune」を分析タスクに対応させた「Neptune Analytics」が登場しました。
そもそもグラフDBが分かりづらいですよね。私も自分で触ったことがないのでが、ざっくり言うと「色々な要素たちの繋がり」情報を格納できるDBのようです。Web広告を打つためにユーザーの行動を分析したりするのにも使われるみたいですね。
それが分析に対応したことで、例えば「証券口座で不正を検出したい」といったユースケースで、Neptuneに格納された取引関連データなどをもとに「今期この株式の保有上位5社をピックアップして」といったクエリーを実行できるようになるとのこと。Neptuneコンソール内でJupyterノートブックを作成して使うようです。
Amazon OpenSearch Service zero-ETL integration with Amazon S3
前日のAdamキーノートでもAWSのDBサービス3種類がRedShiftへのゼロETLに対応するという発表がありましたが、今回はS3のデータをOpenSearch向けに自動変換してくれるように。S3は格納コストが安いのでありがたいですね。
AWS Clean Rooms ML
昨年のre:Inventで発表されたAWS Clean Roomsに機械学習モデルを適用できるようになるというアップデートです。
AWS Clean Roomsはいわゆるデータクリーンルームのサービスなのですが、これは「機密情報などを含む元データを直接渡さずに、そのデータを分析活用できるように他者へ共有する」ためのものです。AWS Clean Roomsでは今回のアップデートによって、各自が持ち込んだデータセットの機密情報などを保護しながら機械学習モデルのトレーニングなどを共同で行えるようになるみたいです。
まだプレビューで、直近ではヘルスケア業界向けのモデルをリリースする予定とのこと。
次回は4日目編！
エンジニアがみんな大好き、Amazon CTOのDr.ワーナー氏のキーノートをまとめます。お楽しみに👍
ちなみに来週12/6(水)のお昼に、ラスベガスで共に学んだ仲間とアップデートをおさらいするオンライン勉強会を企画していますので、ご興味あれば是非ご参加ください👍