背景・目的
前回、Amazon Bedrockを整理してみたでは、Amazon 生成AIサービスのBendrockについて、どのような特徴があるか整理しました。
今回は、セットアップから簡単に動作させてみたいと思います。
まとめ
下記に特徴を整理します。
| 特徴 | 説明 |
|---|---|
| プレイグランド | ・推論をアプリケーションで使用することを決定する前に、様々なモデルや設定で推論を実行するためにコンソールを提供 ・下記が用意されている ・テキスト ・チャット ・画像 |
| モデルの使用 | モデルを使用するためには、最初にモデルアクセスが必要 |
概要
プレイグラウンド
プレイグラウンドを元に整理します。
Amazon Bedrock プレイグラウンドは、推論をアプリケーションで使用することを決定する前に、さまざまなモデルやさまざまな設定で推論を実行してみるためのコンソール環境を提供します。コンソールで、左側のナビゲーションペインで [プレイグラウンド] を選択します。また、プレイグラウンドに直接移動するには、モデルの詳細ページまたは例ページでモデルを選択します。
プレイグラウンドには、テキストモデル、チャットモデル、画像モデル用があります。
- 推論をアプリケーションで使用することを決定する前に、様々なモデルや設定で推論を実行するためにコンソールを提供
- プレイグラウンドは、下記がある
- テキスト
- チャット
- 画像
各プレイグラウンドでは、プロンプトを入力したり、推論パラメータを試したりできます。プロンプトは通常、モデルのシナリオ、質問、またはタスクをセットアップする 1 つ以上のテキスト文です。プロンプトの作成の詳細については、「 プロンプトエンジニアリングガイドライン」を参照してください。
- プロンプトを入力する
- 推論パラメータを試す
推論パラメータは、生成テキストのランダム性など、モデルが生成するレスポンスに影響します。プレイグラウンドにモデルを読み込むと、そのプレイグラウンドはモデルをデフォルトの推論設定で構成します。モデルを試しながら設定を変更したりリセットできます。各モデルには、独自の推論パラメータのセットがあります。詳細については、「基盤モデルの推論パラメータ」を参照してください。
レスポンスを送信すると、モデルは生成された出力で応答します。
チャットモデルまたはテキストモデルがストリーミングをサポートしている場合、デフォルトではモデルからレスポンスをストリーミングします。必要に応じてストリーミングをオフにできます。
- 推論パラメータは、生成テキストのランダム性など、モデルが生成するレスポンスに影響する
- プレイグラウンドにモデルを読み込むと、そのプレイグランドはモデルをデフォルトの推論設定で構成する
モデルアクセス
モデルアクセスを元に試します
Amazon Bedrock ファンデーションモデルへのアクセスはデフォルトでは許可されていません。基盤モデルにアクセスするには、十分な権限を持つ IAM ユーザーがコンソールからそのモデルへのアクセスをリクエストする必要があります。モデルへのアクセス権が付与されると、そのモデルはそのアカウントのすべてのユーザーが利用できるようになります。
- モデルへのアクセスはデフォルトでは許可されてない
- リクエストする必要がある
サポートされている AWS リージョン
2024/5/6時点の情報です。
最新の情報や、詳細は、こちらをご確認ください。
米国東部 (バージニア北部) および米国西部 (オレゴン) ではすべての機能を使用できるとのこと
※ 出典：サポートされている AWS リージョン
実践
モデルアクセス
-
AWSにサインインし、Bedrockに移動します
-
ナビゲーションペインの「モデルアクセス」をクリックします
-
モデルの状態がわかります。リクエスト可能、使用不可、Anthropicの場合は、ユースケースの詳細を送信が必要です。画面右上の「モデルアクセスを管理」をクリックします。
Llama3 8B Instruct
-
チェックし、「EULA」をクリックします
-
別タブでPDFが開きますので、規約を確認します。規約にはAWSカスタマーアグリーメントとAWSサービス条件が含まれています
-
「モデルアクセスをリクエスト」をクリックします
-
アクセスが付与されました
Amazon のFM
-
チェックし、「EULA」をクリックします
-
※ G1 - Expressも付与します
-
※ Generator G1も付与します
-
「変更を保存」をクリックします
-
アクセスが付与されました
プレイグラウンド
チャット
- ナビゲーションペインで、プレイグラウンドの「チャット」をクリックします
Llama
FMを使用する前に、そのモデルへのアクセスが必要です
-
「モデルを選択」をクリックします
-
上記でアクセスしたモデルを選択し、「適用」をクリックします
-
設定されました
-
下記のテキストを入力し、「実行」します
日本の首相は -
日本語で応答がありました
-
画面右上の「コピー」ボタンでチャットの内容をコピーできます
-
「ホウキ」マークをクリックすると、チャットは消えます
-
画面右の設定により、「ランダム性と多様性」、「応答の長さ」が選択できます（参考：基盤モデルの推論パラメータ）
-
実行されると、モデルのメトリクスが表示されます
Titan Text G1
- 「モデルを選択」をクリックします
- 上記でアクセスしたモデルを選択し、「適用」をクリックします
- 下記のテキストを入力し、「実行」します
日本の首相は - 文字化けされて表示されました
- 英語で質問してみます
Who is the current Prime Minister of Japan?
比較モード
-
画面右上の「比較モード」をクリックします
-
すでにTitanが選択されています。「モデルを選択」をクリックします
-
モデルを選択し、「適用」をクリックします
-
設定されました
-
英語で質問してみます
Who is the current Prime Minister of Japan? -
レスポンスが返ってきました。Llama 3のほうが詳細に解説してくれました
-
モデルメトリクスを確認します。トークン数はLlama3のほうが多いです。
テキスト
- ナビゲーションペインで、プレイグラウンドの「テキスト」をクリックします
Titan Text G1 - Express
-
「モデルの選択」をクリックします
-
モデルを選択し、「適用」をクリックします
-
英語で質問してみます
Who is the current Prime Minister of Japan? -
表示されました
イメージ
- ナビゲーションペインで、プレイグラウンドの「イメージ」をクリックします
Titan Image Generator G1
- 「モデルの選択」をクリックします
- モデルを選択し、「適用」をクリックします
- 下記の内容を入力したところ、画像が表示されました。（リュックサックのサンプルが複数表示されました）
Generate an image based on the characteristics below. - Adjustable straps - Multiple compartments - Padded back - Durable material - Water-resistant - Secure closures - External pockets - Internal frame - Reflective elements - Ventilation system
考察
今回、Bedrock上で、チャット、イメージ、テキストの推論を試してみました。あまり使用していませんが複数モデルを手軽に試すことが出来て、比較できるのは良いですね。
今後は、バッチ推論やRAGを試してみたいと思います。
参考