Bedrock Advanced Prompt Optimizationを試してみた

Advanced Prompt Optimizationとは？

2026/05/14にBedrockの新機能「Advanced Prompt Optimization」が発表、GAされました。

アップデート情報：

公式ブログ：

Bedrock上で最大5つのモデルで比較しながら、プロンプトの最適化を行うことができるツールのようです。

試してみる

実際に試してみようと思います。
公式ブログでは東京リージョンもGAされているようでしたが、マネジメントコンソールには表示されていなかったので、バージニア北部リージョンで試します。

Bedrockのコンソールの構築セクションにメニューが追加されてますね！
さっそくCreate prompt optimizationをクリックしてみます。

今回はモデルをClaude Haiku 4.5とClaude Sonnet 4.5で出してみます。
inputに使うファイルですが、S3のパスか直接アップロードでjsonlファイルを指定する必要があるそうです。

フォーマットは以下になります。

{
    "version": "bedrock-2026-05-14",           // required; Fixed value
    "templateId": "string",                    // required
    "promptTemplate": "string",                // required
    "steeringCriteria": ["string"],            // optional
    "customEvaluationMetricLabel": "string",   // required if customLLMJConfig or evaluationMetricLambdaArn is used
    "customLLMJConfig": {                      // optional
        "customLLMJPrompt": "string",          // required if customLLMJConfig present
        "customLLMJModelId": "string"          // required if customLLMJConfig present
    },
    "evaluationMetricLambdaArn": "string",     // optional
    "evaluationSamples": [                     // required
        {
            "inputVariables": [                // required
                {
                    "variableName1": "string",
                    "variableName2": "string"
                }
            ],
            "referenceResponse": "string"      // optional
            "inputVariablesMultimodal": [      // optional
                {
                "Arbitrary_Name": {            // required for your multimodal variable.
                    "type": "string",          // choose from "PDF" or "IMAGE". Acceptable filetypes for IMAGE = png, jpg,  
                    "s3Uri": "string"          // input the S3 path of the file
                }
            ]
        }
    ]
}

今回は、以下のようなプロンプトを用意してみました。

jsonlファイルは一行にする必要があるので、改行コードををなくしてアップロードしてください。

{
    "version": "bedrock-2026-05-14",
    "templateId": "haiku-sonnet-test",
    "promptTemplate": "{{aws_service}}についての説明を書いて",
    "evaluationSamples": [
        {
            "inputVariables": [
                {
                    "aws_service": "EC2"
                }
            ],
            "referenceResponse": "Amazon EC2（Elastic Compute Cloud）は、AWSが提供するクラウド上の仮想サーバーサービスです。必要なときに必要なスペックのサーバーを数分で起動でき、使った分だけ料金が発生します。OSやインスタンスタイプを自由に選択でき、スケールアップ・ダウンも柔軟に行えます。"
        },
        {
            "inputVariables": [
                {
                    "aws_service": "VPC"
                }
            ],
            "referenceResponse": "Amazon VPC（Virtual Private Cloud）は、AWS上にプライベートな仮想ネットワークを構築できるサービスです。IPアドレス範囲やサブネット、ルーティングを自由に設定でき、インターネットやオンプレミス環境との接続もサポートします。EC2などのAWSリソースを安全に分隔・管理するためのネットワーク基盤です。"
        }
    ]
}

無事作成ができました！

意外と時間かかります、、自分は10分ちょっとくらいかかりました

GraphとSummary tablesとDetailed resultsというタブがあります。
まずはGraphを見てみます。

Cost optimizationが表示されていないですね、どうやら手動でコストの設定をする必要があるようです！

Summary tablesではオリジナルと最適化後のプロンプトごとにスコアなどが確認できます！

Haikuの場合の最適化されたプロンプト

{{aws_service}}についての説明を書いて。回答は3〜5文の簡潔な段落1つで書くこと。見出し、箇条書き、表、コードブロックなどのマークダウン書式は使用しないこと。サービスの概要、主な価値・メリット、代表的なユースケースを自然な日本語の散文で説明すること。

Sonnetの場合の最適化されたプロンプト

Amazon {{aws_service}}（AWSサービス）について、2〜4文の簡潔な散文で説明してください。

要件：
- 必ず「Amazon {{aws_service}}」という名称で書き始めてください
- AWSサービスとしての機能・特徴・用途のみを説明してください
- 他のクラウドプロバイダー（Google Cloud、Azureなど）への言及は不要です
- Markdownの見出し（#）、箇条書き（-・）、太字（**）、絵文字は使用しないでください
- 回答は平文の段落形式（100〜200文字程度）で記述してください

オリジナルの時にHaikuの方がスコアが高かったのが気になる・・・

Detailed resultsでは、プロンプトごとに実際の出力が確認できます。

HaikuのEC2で最適化前と最適化後のレスポンスが以下のような形です。

最適化前

# Amazon EC2（Elastic Compute Cloud）について

## 概要
Amazon EC2は、AWSが提供するクラウドコンピューティングサービスです。インターネット経由で仮想サーバー（インスタンス）を借りて、アプリケーションを実行できます。

## 主な特徴

### 1. **スケーラビリティ**
- 必要に応じてサーバー数を増減できる
- トラフィック変動に柔軟に対応

### 2. **従量課金制**
- 使用した分だけ料金を支払う
- 初期投資が不要

### 3. **豊富なインスタンスタイプ**
- 汎用型（t3、m5など）
- コンピュート最適化型（c5など）
- メモリ最適化型（r5など）
- GPU搭載型など

## 主な機能

| 機能 | 説明 |
|------|------|
| **AMI** | インスタンスの起動テンプレート |
| **セキュリティグループ** | ファイアウォール機能 |
| **Elastic IP** | 固定のパブリックIPアドレス |
| **EBS** | ブロックストレージ |
| **Auto Scaling** | 自動スケーリング |

## 料金体系

- **オンデマンド**：時間単位で従量課金
- **リザーブドインスタンス**：長期契約で割引
- **スポットインスタンス**：余剰容量を安く利用

## 使用例

- Webアプリケーションのホスティング
- データベースサーバー
- バッチ処理
- 開発・テスト環境

EC2はAWSの中核サービスの一つで、多くの企業で活用されています。

最適化後

Amazon EC2（Elastic Compute Cloud）はAWSが提供するクラウドベースの仮想サーバーサービスで、インターネット経由でコンピュートリソースをオンデマンドで利用できます。主な価値は初期投資が不要で必要に応じてサーバーを追加・削除でき、使用した分だけ料金を支払う柔軟性にあり、また世界中のデータセンターから選択できるため低遅延でのサービス提供が可能です。Webアプリケーションやバッチ処理システムの運用、開発環境の構築、トラフィック変動への自動スケーリングなど、様々な規模と用途の企業で活用されており、特にスタートアップから大企業まで幅広い組織がインフラストラクチャの構築と運用の効率化に役立てています。

SonnetのEC2で最適化前と最適化後のレスポンスが以下のような形です。

最適化前

# EC2（Amazon Elastic Compute Cloud）について

## EC2とは

EC2は、AWSが提供するクラウド上の仮想サーバーサービスです。必要な時に必要なだけコンピューティングリソースを利用できる、スケーラブルなサービスです。

## 主な特徴

### 1. **柔軟性**
- 数分で新しいサーバーを起動可能
- 必要に応じてスケールアップ・ダウンが可能
- 様々なOSやアプリケーションに対応

### 2. **豊富なインスタンスタイプ**
- **汎用型**（t2, t3, m5など）：バランスの取れた性能
- **コンピューティング最適化**（c5など）：CPU性能重視
- **メモリ最適化**（r5など）：大容量メモリが必要な場合
- **ストレージ最適化**（i3など）：高速ストレージアクセス
- **GPU搭載型**（p3, g4など）：機械学習やグラフィック処理

### 3. **料金体系**
- **オンデマンド**：使った分だけ支払い
- **リザーブドインスタンス**：長期契約で割引
- **スポットインスタンス**：余剰リソースを格安で利用
- **Savings Plans**：柔軟な割引プラン

## 主な用途

- Webサーバー・アプリケーションサーバー
- 開発・テスト環境
- データ処理・分析
- 機械学習モデルのトレーニング
- バッチ処理

EC2は、クラウドコンピューティングの基盤となるサービスで、多くのシステムで活用されています。

最適化後

Amazon EC2は、AWSが提供する仮想サーバーをクラウド上で利用できるコンピューティングサービスです。必要に応じてサーバーの台数やスペックを柔軟に変更でき、数分で起動や停止が可能なため、初期投資を抑えながらシステムを構築できます。Webアプリケーションのホスティング、データ処理、開発環境など、幅広い用途で利用されています。

どちらもreferenceResponseで指定したものに近い形でレスポンスが生成されるようにプロンプトが調整されていることがわかります！

まとめ

Bedrockの新機能「Advanced Prompt Optimization」を実際に試してみました。
プロンプトエンジニアリング、まじめにやろうとすると結構時間がかかります。
今回のこの機能を使うことで最終的なアウトプットから逆算してプロンプトを作ることが容易にできそうです！
また、これくらいの処理ならHaikuで十分、これだとSonnetじゃないとだめだななどの判断基準にも使えそうです！！

弊社では一緒に働く仲間を募集中です！

現在、様々な職種を募集しております。
カジュアル面談も可能ですので、ご連絡お待ちしております！

募集内容等詳細は、是非採用サイトをご確認ください。