この記事について
LLMの「クセ」を全10回で解説してきた本連載の、番外編です。
- ポチョムキン理解(第1回)
- Lost in the Middle(第2回)
- Context Rot(第3回)
- Sycophancy(迎合)(第4回)
- Context Handoff(第5回)
- Prompt Distillation(第6回)
- Project化の罠(第7回)
- GPT化の罠(第8回)
- Instruction Drift(第9回)
- AI成果物の品質保証(第10回)
本編はLLMの失敗モードを1つずつ解剖する構成でしたが、今回は逆向きです。「解決したい課題がある。AIプロジェクトを、白紙からどう立ち上げ、どう育て、最高の成果物まで持っていくか」——0から100までを、通しで歩きます。
なぜこの記事を書くのか。筆者自身が、あるAIプロジェクトを立ち上げたとき、何周したかわからないほど試行錯誤して、成果が上がらず、正直つらかったからです。良いものができたと思っても、それは「たまたま」で再現しない。フォーマットを固定しようとプロンプトを長くしたら、今度は真ん中が読み飛ばされる(第2回)。腹が立つほど、うまくいかない期間が続きました。
この記事の目的はただ1つ。あなたの「何周したかわからない試行錯誤」を、「N周で終わる、見通しのある反復」に変えることです。
縦糸になる実例
本記事では、筆者が実際に経験した案件を(一般化した形で)縦糸にします。
- 状況:JavaとCOBOLが混在したシステム。ローカルに検証環境を構築するのが極めて困難
- ふわっとした願望:「何らかの形で、AIを使ってテストができないか」
- 紆余曲折:AIに何ができるかを聞き回り、テストケース作成・サンドボックスでのテストDB作成・画面打鍵・解析・再鑑ができると知り、組織AI(Project)を構築。しかし社内セキュリティによりサンドボックスが外部接続不可で、ライブラリ不足により一部が頓挫
- 着地:最終的に「ホワイトボックス型結合試験として、Java/COBOLを含む全分岐網羅試験をAIに実施させる」という、当初は思いもしなかった具体的なゴールに到達
注目してほしいのは、最初のふわっとした願望と、最終的な成果物が全くの別物だということです。この「ゴール自体が探索の過程で磨かれていく」現象が、本記事の設計思想の土台になります。
背骨:2周モデル——「アジャイルで測り、ウォーターフォールで固める」
いきなり結論の全体地図から。AIプロジェクトの0→100は、性質の異なる2つの期間に分かれます。
前半(0→50)=アジャイル計測期:目的は動くものを作ることではなく、測ること。何ができて、何が制約で、どの指示が効くのか——「実測仕様書」を書き上げる期間
後半(50→100)=ウォーターフォール固定期:実測仕様書を元にフェーズ・成果物・品質ゲートを確定し、対話を最小化した台本的パイプラインとして実行・運用する期間
なぜ前半はアジャイルでしか不可能なのか
ウォーターフォールの前提は「要件と制約を事前に確定できる」ことです。しかし第9回で確立した通り、モデルの仕様書は存在しません。使う側が実測して書くものです。筆者の案件でも、「サンドボックスが外部接続不可でライブラリが足りない」という決定的な制約は、試すまで誰にも分かりませんでした。存在しない仕様書を前提に、ウォーターフォールは組めません。だから初期の試行錯誤は無駄ではなく、原理的に省略不可能な計測工程です。ここで自分を責める必要は一切ありません。責めるべきは「計測なしの試行錯誤」だけです(後述)。
なぜ後半はウォーターフォールに落とすべきなのか
面白いことに、LLMの失敗の物理法則そのものが、ウォーターフォール型の実行を優遇しています。本連載で見てきた劣化は、ほぼすべて「長い対話的な相互作用」から生まれていました。
- Context Rot(第3回):会話が続くほど腐る
- Instruction Drift(第9回):対話の相互作用そのものがドリフトのエンジン。台本会話ならドリフトはゼロだった、という対照実験を思い出してください
- Sycophancy(第4回):やり取りが増えるほど迎合の燃料が濃くなる
「対話しながら育て続ける」運用は、LLMにとって毒の発生源と構造が同じです。一方ウォーターフォールは、各フェーズが「確定した入力 → 短いクリーンなセッション → 確定した成果物」で完結します。これは第3回のフェーズ分割、第5回のHandoffスキーマ、第7回の背骨構造、そのものです。ウォーターフォールは、AIの失敗物理学に対する構造的な防御なのです。
機械学習の実務に「研究ノートブックで探索し、本番パイプラインに固める」という定石がありますが、それと同じ構造です。アジャイルで作って、ウォーターフォールで回す。
前半戦 0→50:アジャイル計測期
0→10:能力棚卸し × 複数方法の提示——2方向から挟み撃ちにする
白紙の状態で最初にやるのは、精密な目標設定ではありません。何ができるかを知らない状態で、精密な目標は立てようがないからです。最初にやるのは、2方向からの探索です。
方向①:能力棚卸し(AI視点・ボトムアップ)——「あなたに何ができるか」
背景: {困っていること・制約をそのまま書く。例: JavaとCOBOLが混在した
システムで、ローカル検証環境の構築が困難}
目的: {ざっくりでいい願望。例: 何らかの形でテストを実施したい}
この背景・目的に対して、あなたにできる具体的な支援を、実現方式ごとに
分けて洗い出してください。
- 各支援について、必要な前提条件(環境・権限・外部接続の要否など)を明記
- 「理論上は可能」と「今すぐ試せる」を区別して提示
- 実施前に判明していない制約(環境依存など)があれば、
確認すべきチェック項目として先に挙げてください
肝は「前提条件を明記させる」の一文です。筆者はこれをやらずに構想を広げ、あとから外部接続不可の壁にぶつかりました。前提条件を最初に列挙させておけば、「外部接続の要否」という確認項目が、構築前のチェックリストとして手に入ります。
方向②:複数方法の提示(要件視点・トップダウン)——「この要件を満たす道は何本あるか」
達成したい要件: {要件をできるだけ具体的に}
この要件を満たす方法を、発想の異なる複数のアプローチとして提示して
ください。1つの方法を深掘りするのではなく、まず幅を広げることを
優先してください。
各アプローチについて:
- 概要(1〜2文)
- このアプローチならではの強み
- このアプローチ特有のリスク・制約
- 前提となる環境・条件
最後に、複数アプローチの一部を組み合わせた"ハイブリッドな方法"が
あれば、それも提案してください。
なぜ「複数」を強制するのか。AIは1つの聞き方に対して、1つの最も典型的な答え(第5回・第6回で見た「分布の重心」)を返します。1回しか聞かなければ、返ってくるのは"あなたの状況に最適な提案"ではなく"世間で典型的な提案"です。複数並べさせて初めて、比較・選択という工程が生まれ、典型ではなく最適に寄せられます。
筆者の最終着地点「全分岐網羅試験」も、最初から存在した単一の方法ではなく、洗い出した個別要素(テストケース作成・DB作成・打鍵・解析・再鑑)の交差点として生まれたハイブリッドでした。①と②を往復させてください。①だけだと「できることの寄せ集め」になり(第7回で診断した詰め込み失敗の入口です)、②だけだと机上の空論になります。
10→20:小さく壁に当たる——制約は、構想の前に実測する
方法の候補が出たら、次にやるのは設計を広げることではなく、最小構成で壁に当たりに行くことです。筆者の失敗は、7タスク分の構想を組織AIとして組み上げてから、サンドボックスの接続制約に気づいたことでした。順番が逆です。
候補アプローチの中で「前提条件が環境依存」とマークされたもの(外部接続、ファイル形式、実行権限、モデルの機能制限など)を、1タスク・1ファイル・1回の最小実験で先に検証します。ここで掛けた1時間が、後半の何周分もの手戻りを消します。
20→30:詰まったら「失敗理由の要素分解」——一次制約と二次症状を分ける
壁に当たったとき、「できなかった」で止めると道が消えます。筆者の実例がまさに教材で、「サンドボックスが外部接続できず、ライブラリ不足でできなかった」と理由を分解して言語化した瞬間、「ライブラリを手動で提供すれば回避できるのでは」という道が見えました。「外部接続不可」は動かせない一次制約ですが、「ライブラリ不足」はそこから派生した二次症状にすぎず、一次制約を迂回しなくても直接解決できる可能性がある——分解すると、これが見えます。
以下の理由でうまくいきませんでした。
「{具体的な失敗理由。できるだけ分解して詳しく}」
この失敗理由を構成要素に分解してください。各要素について、
「本当に回避不可能な一次制約か」「一次制約から派生した、別の手段で
回避できる可能性がある二次的な症状か」を分けて判定してください。
二次的な症状については、一次制約を迂回せずに解決できる具体策を
提案してください。
偶然の閃きに頼らず、詰まるたびにこの型を回す。それだけで「詰み」の何割かは「迂回路あり」に変わります。
30→40:読み手を固定する——1変数で全パラメータを収束させる
出力の質を安定させる上で、費用対効果が最も高い一手が「読み手の固定」です。「わかりやすく書いて」の"わかりやすさ"は、AIの中の典型(重心)に丸められます。しかし読み手を1人分の解像度で固定すると、文体・詳細度・専門用語の可否・省略していい前提知識が、芋づる式に一気に決まります。1つの変数で、出力の無数のパラメータに同時に効くレバーです。
この作業を依頼するにあたり、まず読み手・使い手を固定します。
想定読み手: {役職・経験年数・前提知識を具体的に。
例: 入社2年目。Java経験はあるがCOBOLは未経験。
結合試験の実施経験はあるが、設計の経験はない}
以降のやり取りでは、常にこの読み手を基準に、説明の粒度・専門用語の
使用可否・省略していい前提知識を判断してください。生成後、読み手の
設定に反する(易しすぎる/難しすぎる)出力になっていないか自己チェック
してから提示してください。
40→50:分布を測る——「たまたま良いのができた」を卒業する
前半戦の心臓部です。筆者を最も苦しめたのは「良いものができても、たまたまなことが多い」でした。この正体を突き止めます。
「良い出力」と「良いプロンプト」は別物
LLMの出力は、確率分布からのサンプリングです。「良い出力が1回出た」は「分布から良いサンプルを1回引いた」でしかなく、プロンプトが良いことの証明ではありません。サイコロを1回振って6が出たからといって「6が出やすいサイコロ」とは言えないのと同じです。
良いプロンプトとは、出力分布の重心が「良い」の上に乗っているプロンプトのこと。
1回の出力に一喜一憂して調整する——筆者の周回が学びを生まなかった最大の理由は、サンプルを追いかけて、分布を測っていなかったことでした。
測り方:3〜5回引いて、「ばらつきの形」を見る
同じプロンプトで3〜5回生成し、出力群を次の3パターンに分類します。
- パターンA:全部ほぼ同じで、全部良い → 分布が「良い」の上に尖っている。完成。
- パターンB:全部ほぼ同じで、全部悪い → 尖っているが場所が悪い。ズレ方が一貫しているので、修正対象が明確。不足している指定を足せば直る。実は一番直しやすい。
- パターンC:回によってバラバラ → 「たまたま良いのができる」の正体。分布が広く、プロンプトのどこかが曖昧で、モデルが毎回違う解釈をしている証拠。
重要な注意:1回目と2回目の"差そのもの"に原因を求めてはいけません。個々の差の原因はサンプリングの乱数であり、探るだけ無駄です。原因分析をしていいのはパターンCの「ばらつき」に対してだけで、しかも見るのは「どの軸でばらついているか」です。フォーマットか、詳細度か、結論そのものか——ばらつく軸=プロンプトが指定していない自由度。そこが埋めるべき穴です。
モグラ叩きの罠:軸を埋め続けると、第2回の物理法則に衝突する
ここに罠があります。ばらつく軸を見つけては指定を足す、を繰り返すとプロンプトが肥大化し、Lost in the Middle(第2回)が発生して、別の軸で新しいばらつきが生まれます。1つ埋めると1つ漏れる——筆者が経験した「何周してもわからない」の力学的な正体は、このモグラ叩きのループでした。
解は指定を足すことではなく、工程を分割することです。1つの巨大プロンプトに全軸の指定を詰めるのではなく、工程ごとにプロンプトを分ければ、各プロンプトが絞るべき軸は少数で済み、短いまま分布を尖らせられます。これがプロンプトレベルのウォーターフォール化であり、後半戦への橋になります。
収束サイクル:周回に「勾配」と「終わり」を持たせる
研究の世界でも、手動のプロンプト調整は「時間がかかり、直感頼みで、当たり外れが大きい」ことが問題視されており、系統的な最適化に切り替えるだけで精度が46.2%→64.0%に跳ねた報告もあります(DSPy/MIPRO系の研究)。手動反復に欠けているのは才能ではなく「勾配」——前より良くなったかを測る物差しです。物差しと終了条件を先に固定します。
# STEP 0(反復を始める"前"に、1回だけ)
以下を確定させてから、初めて反復を始めてください。
1. 代表タスクを3つ固定する(ゴールデンタスク)
2. 各タスクの合格基準をチェックリスト形式で明文化する
(「良い/悪い」ではなく「〇〇の条件を満たすか」で判定できる形)
3. 目標スコアを決める(例: 3タスク×チェック項目の8割以上)
# 1周のテンプレート(毎回これに従う)
- 今回変更する変数は1つだけ: {変更点を明記}
- 変更後、ゴールデンタスク3つそれぞれで3回ずつ生成し、
ばらつきの形(A/B/C)とチェックリスト充足を記録する
- 評価は生成した本人ではなく、別のクリーンなセッションで行う
- 前回のスコアと比較: 改善なら採用してログに1行残す/
悪化・変化なしなら破棄して別の変数へ
- 目標スコア到達で反復を終了する
1周1変数(第6回のアブレーション原則:何が効いたか特定できる)、評価は別セッション(第1回・第9回:自己評価は同じ病を継承する)、ログ1行(「これ前も試したやつだ」を防ぐ)、終了条件(無限周回の禁止)。この4点が揃って初めて、周回は蓄積になります。
さらに筆者が実務で効果を実感したのが、「作成役」と「評価役」を別のAIインスタンスに分離する運用です。プロンプトやProjectを作るAIと、それを実際に使って評価・改善点を出すAIを分ける。評価側には作成の経緯を共有せず、「作成者の意図を推測せず、実際に使った体験だけを根拠に評価して」と縛ります。第4回で確立した「所有権を隠す」のProject単位版で、自己評価の甘さを構造的に回避できます。
前半戦の成果物:「実測仕様書」
0→50を終えたとき、手元に残るべきは"動くAI"ではなく、次の項目が埋まった実測仕様書です(第7回のPROJECT_META.mdの初期版に相当します)。
- できること/できないこと(能力棚卸しの検証結果)
- 環境の一次制約と、回避済みの二次症状(例:外部接続不可/ライブラリは手動提供で回避)
- 採用した方法(複数候補から選んだ理由・捨てた候補も記録)
- 効くことが実証された指示(アブレーション通過分)と、正例(few-shot用の合格出力)
- ゴールデンタスクと合格基準・現在のスコア
- 分布の癖(どのタスクでばらつきやすいか)
この仕様書こそが、後半戦でウォーターフォールを組むための「確定した要件と制約」です。
後半戦 50→100:ウォーターフォール固定期
50→70:フェーズ設計——背骨と専用資材に分ける
実測仕様書を元に、工程を確定します。設計原則は第3回・第7回で確立済みです。
- フェーズごとにチャット(またはProject)を分ける。筆者の初期失敗——7種類のタスクの資材40ファイルを1つのProjectに詰め込み、単体チャットより精度が落ちた——を繰り返さない
- フェーズ間は**Handoffスキーマ(第5回)**で接続する:確定事項+原文引用+確信度+未確認事項。会話ではなく確定成果物だけを運ぶ
- 全フェーズ共通の最小知識(用語CONST・命名規則)だけを「背骨」として共有し、各フェーズの資材はフェーズ専用に分離する
筆者の案件なら、解析 → 差分抽出 → テストケース作成 → テストデータ作成 → 実行(打鍵)→ 差分比較 → 再鑑・資料化、という各フェーズが、それぞれ短いクリーンなセッション+専用プロンプト+前フェーズの確定成果物、で完結する形になります。
70→85:台本化と品質ゲート
各フェーズのプロンプトを、実測仕様書の「実証済み指示+正例」から組み立てて確定します。ここではもう壁打ちしません。壁打ちは前半で終わっています。各プロンプトは自分のフェーズの軸だけを担当するので、短く、分布は尖ったままです(モグラ叩きの構造的解消)。
フェーズの出口には品質ゲートを置きます。中身は第10回の道具です。
- 成果物メタブロックの義務化(根拠ID・確信度・未確認事項・実施済み検証)
- 受け入れ検査プロンプト(総評禁止・項目別◯✕・原文引用強制)を、別セッションまたは別会社モデルで実行
- 機械検証できるもの(テストの実行、形式チェック)は必ず機械で(第10回L0)
ゲートを通らない成果物は次フェーズに流さない——ウォーターフォールの工程管理そのものを、そのまま品質保証として使います。
85→100:運用と、仕様書を育て続ける
- 月次のゴールデンタスク回帰(第7回):ナレッジ追加・指示変更・モデル更新のどれが劣化を起こしたか、変更ログと突き合わせて切り分ける
- フィードバック導線の人工確保(第8回):配布するなら、離脱の代わりに一言残せる導線を返答末尾に定型で埋め込む
- 実測仕様書の更新:ドリフト発生ターン、迎合カナリアの結果などを追記し続ける。モデルのバージョンアップは全再測定のトリガーにする
100に到達した状態とは、「完璧なAI」ができた状態ではありません。「劣化すれば検知でき、原因を切り分けられ、直せる系」が回っている状態です(第10回:信頼は性格ではなく設計で作る)。
全体地図
| 区間 | モード | やること | 主要プロンプト/道具 |
|---|---|---|---|
| 0→10 | 探索 | 能力棚卸し×複数方法提示の往復 | 棚卸し・複数アプローチ提示 |
| 10→20 | 探索 | 最小構成で壁に当たり、制約を実測 | 前提条件チェックリスト |
| 20→30 | 探索 | 詰まりを分解し迂回路を探す | 一次制約/二次症状の分解 |
| 30→40 | 探索 | 読み手固定で出力を収束 | 読み手固定 |
| 40→50 | 計測 | 分布測定+収束サイクル | 3〜5回生成・A/B/C分類・1周1変数・別セッション評価 |
| 50 | — | 実測仕様書の完成(前半の成果物) | META.md初期版 |
| 50→70 | 固定 | フェーズ設計・背骨+専用資材 | Handoffスキーマ・CONST |
| 70→85 | 固定 | プロンプト台本化+品質ゲート | 実証済み指示+正例・受け入れ検査 |
| 85→100 | 運用 | 回帰・導線・仕様書の継続更新 | ゴールデンタスク・カナリア |
まとめ
- AIプロジェクトの0→100は2周モデル:前半はアジャイルで測り(実測仕様書を書く)、後半はウォーターフォールに固める(台本的パイプラインで回す)
- 前半がアジャイルでしかありえないのは、モデルと環境の仕様書は実測でしか書けないから。初期の試行錯誤は省略不可能な計測工程であり、恥ではない
- 後半がウォーターフォールであるべきなのは、LLMの失敗物理学(Rot・Drift・迎合)がすべて対話的相互作用から生まれるから。台本化は構造的防御
- 「たまたま良いのができる」の正体はサンプリング。良い出力≠良いプロンプト。3〜5回引いて「ばらつきの形」で判断し、個々の差の原因は追わない
- ばらつく軸を指定で埋め続けるとLost in the Middleと衝突する(モグラ叩き)。解は工程分割で各プロンプトの担当軸を減らすこと
- 周回を蓄積に変える4点セット:1周1変数・別セッション評価・ログ1行・終了条件
- 探索の主要技術:能力棚卸し×複数方法の往復、小さく壁に当たる、失敗理由の一次/二次分解、読み手固定、作成役と評価役の分離
筆者の「何周したかわからない、つらかった」試行錯誤は、振り返ればこの地図を持たずに歩いた探索でした。この記事が、あなたの周回を数えられる回数に変えることを願っています。
参考文献
- Khattab, O., et al. (2023). DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines. Stanford NLP.
- Opsahl-Ong, K., et al. (2024). MIPRO: Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs.
- Lemos, F., et al. (2025). Is It Time To Treat Prompts As Code? A Multi-Use Case Study For Prompt Optimization Using DSPy. arXiv:2507.03620
- 本連載 第1〜10回で引用した各研究