はじめに
2024/4/23、Amazon Bedrock に大量のアップデートが降り注いできました。ちょっと追いきれなくなってきたので、自分用に簡単にまとめています。拾い切れてないものもあるかもしれませんが、AWS What's New に流れてきただけでその数 10 !!
基盤モデル関連
Meta の Llama 3 モデルが利用可能に
2024/4/18 に 発表 されたばかりの Llama 3 8B および Llama 3 70B が Amazon Bedrock で利用できるように。バージニア北部およびオレゴンリージョンで利用可能。
モデルID :
- meta.llama3-8b-instruct-v1:0
- meta.llama3-70b-instruct-v1:0
Amazon Titan Image Generator が GA
AWS re:Invent 2023 で発表され、プレビュー利用可能だった Tian Image Generator が バージニア北部およびオレゴンリージョンで GA。
利点:
- 大量の画像を低コストで効率的に生成できる
- 企業データを使ってモデルをカスタマイズし、ブランドに合った画像を生成できる
- 高品質で多様なデータセットで学習されているため、より正確な出力が可能
- 有害なコンテンツを検出・フィルタリングするなど、責任あるAIの実践が組み込まれている
- 生成された画像に目に見えない透かし(ウォーターマーク)を入れ、AIによる画像生成を識別できるようにしている
Amazon Titan Image Generator のウォーターマーク検出が GA
Titan Image Generator の利点で紹介した電子透かし機能も一般利用可能に。
私のアイコン画像。Titan では作っていないのですが、Confidence: Low で誤検知。
先ほどの画像はもちろん検出
合わせてウォーターマークの検出を行うための DetectGeneratedContent API が発表され、こちらはパブリックプレビューで利用可能。
カスタムモデルのインポートが可能に (Preview)
Amazon SageMaker などの他の環境でカスタマイズした基盤モデルを Bedrock にインポートし、カスタムモデルとして利用できる機能がバージニア北部リージョンのみで Preview で利用可能になった。
Mistral/Llama/Llama 2 のいずれかのアーキテクチャでカスタムされたモデルである必要がある。SageMaker に登録されたモデルまたは、S3 バケットに配置されたモデルをインポート可能。
エージェントやナレッジベース、Guardrail の利用は未サポート
Agents for Amazon Bedrock 関連
Claude 3 Haiku and Sonnet が利用可能に
コストも下がるし、パフォーマンスや精度も向上するしで、待望すぎるアップデート。
利用するモデルをClaude v2.1 → Claude 3 変更すると Agent 内部で使用されているプロンプトの内容もモデルに合わせた形式へ変わる。悪意のある入力でないか等のチェックを行う前処理は Claude 3 ではそもそも非アクティブ化されているようなので、必要に応じてデフォルトを上書きして、有効化する必要がある。
Agents の作成機能が簡素化され、Return of Control 機能を提供開始
これまではAgent が操作できる API を定義するために OpenAPI スキーマを事前に作成する必要があったが、それが不要となり簡単に Agent を構成できるように。
Return of Control は AWS Lambda関数の使用をスキップし、エージェントを呼び出すアプリケーションに制御を返すことができる機能。これにより Lambda 関数を使用しなくとも外部と連携したエージェントが作成できるようになった。
簡素化されたエージェントの作成方法についてやってみた内容は別記事に書きました。
Knowledge Base for Amazon Bedrock 関連
複数のデータソースをサポート
最大 5 つのデータソースからデータを取り込むことが可能に。つまり異なる S3 バケットに配置されたデータを取り込むことができ、更にクロスアカウントでのアクセスにも対応した。
またデータソースが削除された場合に、ベクターストア上のデータを保持するか削除するかを選択できるようになった。デフォルトは保持 (Retain)。
ベクターストアなしで、単一ドキュメントに対する質問が可能に
コンソール上で 10 MB までの単一のドキュメント (PDF, MD, TXT, DOCX, HTML, CSV, XLS, and XLSX) をアプロードするか、S3 上のパスを指定するだけで、対象ドキュメントの内容に関して質問が可能になる。追加費用無しで利用可能。
4/24 時点で モデルは Claude 3 Sonnet のみが利用可能。システムプロンプトはカスタマイズできる
ファイルサイズ制限を突破しても入力トークン数の制限もあって、20,000 までの様子。
Anthropic on Bedrock の EULA を取り込んで答えてもらった。
API からの利用は別の記事として書きました。
周辺機能
Guardrails for Amazon Bedrock が GA
AWS re:Invent 2023 で発表され、プレビューとして利用可能だったガードレール機能がバージニア北部とオレゴンリージョンで GA
望ましくない、または有害なカテゴリに分類されるコンテンツを回避するために複数のポリシーを任意に構成できます。触ってみた内容は以下の記事に書いています。
Model evaluation on Amazon Bedrock が GA
AWS re:Invent 2023 で発表され、プレビューとして利用可能だったモデル評価機能がバージニア北部とオレゴンリージョンで GA
アルゴリズムによる自動評価では評価タスク、評価指標メトリクス、データセットを指定し、精度や堅牢性といった指標時で評価できる。人間による手動評価タスクを作成することも可能。
注意点
- サポートされるモデルには制限がある (Claude 3 は未対応)
- 完了した評価タスクごとに0.21ドルの課金が発生する
他のアップデートで力尽きて実際に触れてないので別途チャレンジする。
その他、要チェックブログなど