AIがAIを評価・改善する「プロンプト自動最適化フレームワーク」のご紹介
ソースコードはこちら
イメージはこちら
スライド1：はじめに - 私たちが直面する課題
良いプロンプトを書くのは難しい…
- 属人化: 個人の経験や勘に頼りがちで、品質が安定しない。
- 時間コスト: 何が最適な指示なのか、試行錯誤に多くの時間がかかる。
- 評価の難しさ: AIの回答をどう評価すれば良いのか、基準が曖昧で手間がかかる。
これらの課題を「仕組み」で解決できないだろうか？
スライド2：提案ソリューション：プロンプト自動最適化フレームワーク
一言で言うと…
AI（Gemini）を使ったプログラムの性能を、"審判役のAI"に評価・改善させるための全自動A/Bテストツールです。
コンセプトは「LLM as a Judge」
人間の代わりにAIを評価者（審判）として活用し、客観的で高速な評価を実現します。
システムの全体像
スライド3：自動評価・改善のサイクル
当フレームワークは、以下の6ステップを全自動で実行します。
スライド4：何を評価するのか？ - 総合的なジャッジ
単に出力結果だけを見るのではありません。プロセス全体を評価対象とします。
-
プロンプト（指示内容）
- 指示は明確だったか？改善の余地はないか？
-
AIの思考ログ（思考プロセス）
- 推論の過程は論理的か？無駄な処理はないか？
-
出力結果（最終的な回答）
- 指示通りか？内容は正確か？
これら3つの要素を総合的に分析することで、表面的な評価に留まらない、深い洞察を得ます。
スライド5：評価の二本柱：定量的評価 vs 定性的評価
このフレームワークは、客観的な「数値」と、理由を深掘りする「言葉」の両方で評価します。
| 評価の種類 | 評価項目例 | 役割：何を明らかにするか？ |
|---|---|---|
|
定量的評価 (Quantitative) |
・総合スコア (95/100点) ・実行時間 (12.3秒) ・トークン数 (コスト) |
What（何が） 「どちらのプロンプトが、どれくらい良い結果を出したか」を客観的に示す。 |
|
定性的評価 (Qualitative) |
・分析コメント ・改善版プロンプト提案 ・最終的な結論 |
Why/How（なぜ/どうやって） 「なぜその結果になったのか」「次にどうすれば良くなるのか」を具体的に示す。 |
定量的評価で「結果」を、定性的評価で「原因と改善策」を把握する。 この2つは車の両輪です。
スライド6：現在の評価軸 - バランスの取れた8項目
| カテゴリ | 評価軸 | 点数化 |
|---|---|---|
| 品質 (Quality) | 1. プロンプト指示への忠実性 | ✅ |
| 2. 情報の正確性（ファクトチェック） | ✅ | |
| 3. 高度な推論・分析能力 | ✅ | |
| 4. 網羅性と例外処理 | ✅ | |
| 性能 (Performance) | 5. 実行時間 | ❌ |
| 6. トークン数（コスト） | ❌ | |
| 総括 (Summary) | 7. 総合評価スコア＆コメント | ✅ |
| 8. 改善版プロンプトの提案 | ❌ |
スライド7：パフォーマンス評価の真価 - なぜ2回実行するのか？
1回だけのパフォーマンス測定（例: 実行時間15秒）では、その価値を判断できません。
2回の実行結果を「比較」することで、初めて意味のある洞察が生まれます。
-
改善効果の可視化
- 「改善後、実行時間が3秒短縮された」
-
トレードオフの判断
- 「品質スコアは10点上がったが、コスト（トークン）が20%増加した。この交換は妥当か？」
-
最適化の方向性の特定
- プロンプト改善がパフォーマンスに与える影響を正確に把握し、次のアクションを決定できます。
スライド8：まとめ - このフレームワークがもたらす価値
- 開発工数の削減: 面倒なプロンプトのテストと評価を自動化。
- プロンプト品質の向上: データに基づいた継続的な改善サイクルを実現。
- 属人性の排除: 客観的で一貫した基準による評価。
- コスト最適化: 品質の維持・向上と、速度・コストのバランスを追求。
このツールは、プロンプト開発のプロセスそのものを、より科学的かつ効率的なものへと進化させます。
なお、このツールでプロンプトを修正しても、改悪される場合もあるので、改善用プロンプトを更に良くすると、もっと良いツールになるはず！！