これです。英語ですし長いですよね。サマりました。
内容まとめ
はじめに
- 本日（※米国時間9/28）、Amazon Bedrockが一般提供（GA）となった。
- 4月にアナウンスされていた各社提供の基盤モデル（AI21 Labs, Anthropic, Cohere, Stability AI, Amazon）に加え、Meta社のLlama 2モデルもまもなく提供予定。
Bedrockのおさらい
- サーバーレスのためインフラ管理不要
- Bedrockは基盤モデルをプライベートにカスタムできる（ファインチューニング、RAG等）
- Bedrock Agent機能もプレビューで提供中
- CloudWatchで利用状況メトリクスの可視化が可能
- CloudTrailでAPI利用の監査ロギング、トラブルシュートが可能
- GDPR準拠のアプリ開発や、HIPAA規制の機密なシステムにも利用できる
実際に使ってみる
Bedrockの始め方
- マネコンやAWS SDKのほか、OSSフレームワーク（LangChain等）から基盤モデルを利用可能
- マネコンのBedrockコンソールから基盤モデルを選べる。最初にアクセスの有効化が必要
- Playground機能でCohere, Claudeなどのお試し例も掲載あり
- 設定可能な推論パラメーターの紹介もあり（Temperature, Top P, Top K, Maximum Length, Max Tokens）
APIからの使い方
- AWS SDK for Python（Boto3）を例にした利用手順の紹介
-
list_foundation_models()で利用可能な基盤モデルの一覧出力ができる -
InvokeModelAPIでBedrockのインターフェースを呼び出せる- Jurassic-2モデルを使ったサンプルコードの紹介
- 同じく
InvokeModelAPIでEnbeddingモデルの呼び出しも可能- Amazon Titan Embeddingsモデルを使ったサンプルコードの紹介
-
InvokeModelWithResponseStreamAPIを使えばモデルの出力を非同期にストリームできる
シビアなエンタープライズ要件にも対応
データ保護とネットワークセキュリティ
- Bedrockで使用するデータはAWSアカウント内でプライベートに保つことが可能
- サービス改善のためにユーザーのデータを読み取ったりすることもない
- データはAPIを処理するリージョン内に留まる
- すべてのデータは暗号化される（最低でもTLS 1.2による転送中の暗号化や、KMSによる保存時のAES-256暗号化）
- PrivateLink用のVPCエンドポイントを用いてVPCと安全に接続できる
ガバナンスと監視
- IAMによる権限管理が可能
- アクティビティはCloudTrailログに保存される
-
AWS/Bedrock名前空間でCloudWatchへのメトリクス送信が可能- InputTokenCount、OutputTokenCount、InvocationLatency、Invocations等
- ディメンションでモデルIDを指定したフィルタリングもできる
一般提供開始にあたって
料金
- 入出力トークン数をベースに請求が発生する。画像生成モデルは生成した画像単位での請求
- 価格設定は2種類
- オンデマンド：最低料金なしで使った分だけ課金
- プロビジョニング：大規模利用向け。利用期間をコミットする代わりにスループットを保証できる（分間の入出力トークン最大数）
もう使えますよ！！
- US East (N. Virginia), US West (Oregon) リージョンで利用可能
- 引き続きプレビュー提供となるもの
- Amazon Titan Text ファミリーのテキスト生成モデル
- Stability AI の Stable Diffusion XL画像生成モデル
- Agents for Amazon Bedrock
- Coming soon!
- Llama 2の13B & 70Bパラメーターモデルがまもなく登場予定。ファインチューニングにも対応
おわりに
まもなく公式の和訳ブログも出てくれるかと思いますが、もし不備等あればお知らせくださいますと幸いです🙇♂️