0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

課題解決AIプロジェクトの作り方 0→100 ― アジャイルで測り、ウォーターフォールで固める【LLMと上手く付き合う連載・番外編】

0
Last updated at Posted at 2026-07-17

この記事について

LLMの「クセ」を全10回で解説してきた本連載の、番外編です。

  1. ポチョムキン理解(第1回)
  2. Lost in the Middle(第2回)
  3. Context Rot(第3回)
  4. Sycophancy(迎合)(第4回)
  5. Context Handoff(第5回)
  6. Prompt Distillation(第6回)
  7. Project化の罠(第7回)
  8. GPT化の罠(第8回)
  9. Instruction Drift(第9回)
  10. AI成果物の品質保証(第10回)

本編はLLMの失敗モードを1つずつ解剖する構成でしたが、今回は逆向きです。「解決したい課題がある。AIプロジェクトを、白紙からどう立ち上げ、どう育て、最高の成果物まで持っていくか」——0から100までを、通しで歩きます。

なぜこの記事を書くのか。筆者自身が、あるAIプロジェクトを立ち上げたとき、何周したかわからないほど試行錯誤して、成果が上がらず、正直つらかったからです。良いものができたと思っても、それは「たまたま」で再現しない。フォーマットを固定しようとプロンプトを長くしたら、今度は真ん中が読み飛ばされる(第2回)。腹が立つほど、うまくいかない期間が続きました。

この記事の目的はただ1つ。あなたの「何周したかわからない試行錯誤」を、「N周で終わる、見通しのある反復」に変えることです。

縦糸になる実例

本記事では、筆者が実際に経験した案件を(一般化した形で)縦糸にします。

  • 状況:JavaとCOBOLが混在したシステム。ローカルに検証環境を構築するのが極めて困難
  • ふわっとした願望:「何らかの形で、AIを使ってテストができないか」
  • 紆余曲折:AIに何ができるかを聞き回り、テストケース作成・サンドボックスでのテストDB作成・画面打鍵・解析・再鑑ができると知り、組織AI(Project)を構築。しかし社内セキュリティによりサンドボックスが外部接続不可で、ライブラリ不足により一部が頓挫
  • 着地:最終的に「ホワイトボックス型結合試験として、Java/COBOLを含む全分岐網羅試験をAIに実施させる」という、当初は思いもしなかった具体的なゴールに到達

注目してほしいのは、最初のふわっとした願望と、最終的な成果物が全くの別物だということです。この「ゴール自体が探索の過程で磨かれていく」現象が、本記事の設計思想の土台になります。

背骨:2周モデル——「アジャイルで測り、ウォーターフォールで固める」

いきなり結論の全体地図から。AIプロジェクトの0→100は、性質の異なる2つの期間に分かれます。

前半(0→50)=アジャイル計測期:目的は動くものを作ることではなく、測ること。何ができて、何が制約で、どの指示が効くのか——「実測仕様書」を書き上げる期間

後半(50→100)=ウォーターフォール固定期:実測仕様書を元にフェーズ・成果物・品質ゲートを確定し、対話を最小化した台本的パイプラインとして実行・運用する期間

なぜ前半はアジャイルでしか不可能なのか

ウォーターフォールの前提は「要件と制約を事前に確定できる」ことです。しかし第9回で確立した通り、モデルの仕様書は存在しません。使う側が実測して書くものです。筆者の案件でも、「サンドボックスが外部接続不可でライブラリが足りない」という決定的な制約は、試すまで誰にも分かりませんでした。存在しない仕様書を前提に、ウォーターフォールは組めません。だから初期の試行錯誤は無駄ではなく、原理的に省略不可能な計測工程です。ここで自分を責める必要は一切ありません。責めるべきは「計測なしの試行錯誤」だけです(後述)。

なぜ後半はウォーターフォールに落とすべきなのか

面白いことに、LLMの失敗の物理法則そのものが、ウォーターフォール型の実行を優遇しています。本連載で見てきた劣化は、ほぼすべて「長い対話的な相互作用」から生まれていました。

  • Context Rot(第3回):会話が続くほど腐る
  • Instruction Drift(第9回):対話の相互作用そのものがドリフトのエンジン。台本会話ならドリフトはゼロだった、という対照実験を思い出してください
  • Sycophancy(第4回):やり取りが増えるほど迎合の燃料が濃くなる

「対話しながら育て続ける」運用は、LLMにとって毒の発生源と構造が同じです。一方ウォーターフォールは、各フェーズが「確定した入力 → 短いクリーンなセッション → 確定した成果物」で完結します。これは第3回のフェーズ分割、第5回のHandoffスキーマ、第7回の背骨構造、そのものです。ウォーターフォールは、AIの失敗物理学に対する構造的な防御なのです。

機械学習の実務に「研究ノートブックで探索し、本番パイプラインに固める」という定石がありますが、それと同じ構造です。アジャイルで作って、ウォーターフォールで回す。


前半戦 0→50:アジャイル計測期

0→10:能力棚卸し × 複数方法の提示——2方向から挟み撃ちにする

白紙の状態で最初にやるのは、精密な目標設定ではありません。何ができるかを知らない状態で、精密な目標は立てようがないからです。最初にやるのは、2方向からの探索です。

方向①:能力棚卸し(AI視点・ボトムアップ)——「あなたに何ができるか」

背景: {困っていること・制約をそのまま書く。例: JavaとCOBOLが混在した
システムで、ローカル検証環境の構築が困難}
目的: {ざっくりでいい願望。例: 何らかの形でテストを実施したい}

この背景・目的に対して、あなたにできる具体的な支援を、実現方式ごとに
分けて洗い出してください。
- 各支援について、必要な前提条件(環境・権限・外部接続の要否など)を明記
- 「理論上は可能」と「今すぐ試せる」を区別して提示
- 実施前に判明していない制約(環境依存など)があれば、
  確認すべきチェック項目として先に挙げてください

肝は「前提条件を明記させる」の一文です。筆者はこれをやらずに構想を広げ、あとから外部接続不可の壁にぶつかりました。前提条件を最初に列挙させておけば、「外部接続の要否」という確認項目が、構築前のチェックリストとして手に入ります。

方向②:複数方法の提示(要件視点・トップダウン)——「この要件を満たす道は何本あるか」

達成したい要件: {要件をできるだけ具体的に}

この要件を満たす方法を、発想の異なる複数のアプローチとして提示して
ください。1つの方法を深掘りするのではなく、まず幅を広げることを
優先してください。

各アプローチについて:
- 概要(1〜2文)
- このアプローチならではの強み
- このアプローチ特有のリスク・制約
- 前提となる環境・条件

最後に、複数アプローチの一部を組み合わせた"ハイブリッドな方法"が
あれば、それも提案してください。

なぜ「複数」を強制するのか。AIは1つの聞き方に対して、1つの最も典型的な答え(第5回・第6回で見た「分布の重心」)を返します。1回しか聞かなければ、返ってくるのは"あなたの状況に最適な提案"ではなく"世間で典型的な提案"です。複数並べさせて初めて、比較・選択という工程が生まれ、典型ではなく最適に寄せられます。

筆者の最終着地点「全分岐網羅試験」も、最初から存在した単一の方法ではなく、洗い出した個別要素(テストケース作成・DB作成・打鍵・解析・再鑑)の交差点として生まれたハイブリッドでした。①と②を往復させてください。①だけだと「できることの寄せ集め」になり(第7回で診断した詰め込み失敗の入口です)、②だけだと机上の空論になります。

10→20:小さく壁に当たる——制約は、構想の前に実測する

方法の候補が出たら、次にやるのは設計を広げることではなく、最小構成で壁に当たりに行くことです。筆者の失敗は、7タスク分の構想を組織AIとして組み上げてから、サンドボックスの接続制約に気づいたことでした。順番が逆です。

候補アプローチの中で「前提条件が環境依存」とマークされたもの(外部接続、ファイル形式、実行権限、モデルの機能制限など)を、1タスク・1ファイル・1回の最小実験で先に検証します。ここで掛けた1時間が、後半の何周分もの手戻りを消します。

20→30:詰まったら「失敗理由の要素分解」——一次制約と二次症状を分ける

壁に当たったとき、「できなかった」で止めると道が消えます。筆者の実例がまさに教材で、「サンドボックスが外部接続できず、ライブラリ不足でできなかった」と理由を分解して言語化した瞬間、「ライブラリを手動で提供すれば回避できるのでは」という道が見えました。「外部接続不可」は動かせない一次制約ですが、「ライブラリ不足」はそこから派生した二次症状にすぎず、一次制約を迂回しなくても直接解決できる可能性がある——分解すると、これが見えます。

以下の理由でうまくいきませんでした。
「{具体的な失敗理由。できるだけ分解して詳しく}」

この失敗理由を構成要素に分解してください。各要素について、
「本当に回避不可能な一次制約か」「一次制約から派生した、別の手段で
回避できる可能性がある二次的な症状か」を分けて判定してください。
二次的な症状については、一次制約を迂回せずに解決できる具体策を
提案してください。

偶然の閃きに頼らず、詰まるたびにこの型を回す。それだけで「詰み」の何割かは「迂回路あり」に変わります。

30→40:読み手を固定する——1変数で全パラメータを収束させる

出力の質を安定させる上で、費用対効果が最も高い一手が「読み手の固定」です。「わかりやすく書いて」の"わかりやすさ"は、AIの中の典型(重心)に丸められます。しかし読み手を1人分の解像度で固定すると、文体・詳細度・専門用語の可否・省略していい前提知識が、芋づる式に一気に決まります。1つの変数で、出力の無数のパラメータに同時に効くレバーです。

この作業を依頼するにあたり、まず読み手・使い手を固定します。

想定読み手: {役職・経験年数・前提知識を具体的に。
例: 入社2年目。Java経験はあるがCOBOLは未経験。
結合試験の実施経験はあるが、設計の経験はない}

以降のやり取りでは、常にこの読み手を基準に、説明の粒度・専門用語の
使用可否・省略していい前提知識を判断してください。生成後、読み手の
設定に反する(易しすぎる/難しすぎる)出力になっていないか自己チェック
してから提示してください。

40→50:分布を測る——「たまたま良いのができた」を卒業する

前半戦の心臓部です。筆者を最も苦しめたのは「良いものができても、たまたまなことが多い」でした。この正体を突き止めます。

「良い出力」と「良いプロンプト」は別物

LLMの出力は、確率分布からのサンプリングです。「良い出力が1回出た」は「分布から良いサンプルを1回引いた」でしかなく、プロンプトが良いことの証明ではありません。サイコロを1回振って6が出たからといって「6が出やすいサイコロ」とは言えないのと同じです。

良いプロンプトとは、出力分布の重心が「良い」の上に乗っているプロンプトのこと。

1回の出力に一喜一憂して調整する——筆者の周回が学びを生まなかった最大の理由は、サンプルを追いかけて、分布を測っていなかったことでした。

測り方:3〜5回引いて、「ばらつきの形」を見る

同じプロンプトで3〜5回生成し、出力群を次の3パターンに分類します。

  • パターンA:全部ほぼ同じで、全部良い → 分布が「良い」の上に尖っている。完成。
  • パターンB:全部ほぼ同じで、全部悪い → 尖っているが場所が悪い。ズレ方が一貫しているので、修正対象が明確。不足している指定を足せば直る。実は一番直しやすい。
  • パターンC:回によってバラバラ → 「たまたま良いのができる」の正体。分布が広く、プロンプトのどこかが曖昧で、モデルが毎回違う解釈をしている証拠。

重要な注意:1回目と2回目の"差そのもの"に原因を求めてはいけません。個々の差の原因はサンプリングの乱数であり、探るだけ無駄です。原因分析をしていいのはパターンCの「ばらつき」に対してだけで、しかも見るのは「どの軸でばらついているか」です。フォーマットか、詳細度か、結論そのものか——ばらつく軸=プロンプトが指定していない自由度。そこが埋めるべき穴です。

モグラ叩きの罠:軸を埋め続けると、第2回の物理法則に衝突する

ここに罠があります。ばらつく軸を見つけては指定を足す、を繰り返すとプロンプトが肥大化し、Lost in the Middle(第2回)が発生して、別の軸で新しいばらつきが生まれます。1つ埋めると1つ漏れる——筆者が経験した「何周してもわからない」の力学的な正体は、このモグラ叩きのループでした。

解は指定を足すことではなく、工程を分割することです。1つの巨大プロンプトに全軸の指定を詰めるのではなく、工程ごとにプロンプトを分ければ、各プロンプトが絞るべき軸は少数で済み、短いまま分布を尖らせられます。これがプロンプトレベルのウォーターフォール化であり、後半戦への橋になります。

収束サイクル:周回に「勾配」と「終わり」を持たせる

研究の世界でも、手動のプロンプト調整は「時間がかかり、直感頼みで、当たり外れが大きい」ことが問題視されており、系統的な最適化に切り替えるだけで精度が46.2%→64.0%に跳ねた報告もあります(DSPy/MIPRO系の研究)。手動反復に欠けているのは才能ではなく「勾配」——前より良くなったかを測る物差しです。物差しと終了条件を先に固定します。

# STEP 0(反復を始める"前"に、1回だけ)
以下を確定させてから、初めて反復を始めてください。

1. 代表タスクを3つ固定する(ゴールデンタスク)
2. 各タスクの合格基準をチェックリスト形式で明文化する
   (「良い/悪い」ではなく「〇〇の条件を満たすか」で判定できる形)
3. 目標スコアを決める(例: 3タスク×チェック項目の8割以上)

# 1周のテンプレート(毎回これに従う)
- 今回変更する変数は1つだけ: {変更点を明記}
- 変更後、ゴールデンタスク3つそれぞれで3回ずつ生成し、
  ばらつきの形(A/B/C)とチェックリスト充足を記録する
- 評価は生成した本人ではなく、別のクリーンなセッションで行う
- 前回のスコアと比較: 改善なら採用してログに1行残す/
  悪化・変化なしなら破棄して別の変数へ
- 目標スコア到達で反復を終了する

1周1変数(第6回のアブレーション原則:何が効いたか特定できる)、評価は別セッション(第1回・第9回:自己評価は同じ病を継承する)、ログ1行(「これ前も試したやつだ」を防ぐ)、終了条件(無限周回の禁止)。この4点が揃って初めて、周回は蓄積になります。

さらに筆者が実務で効果を実感したのが、「作成役」と「評価役」を別のAIインスタンスに分離する運用です。プロンプトやProjectを作るAIと、それを実際に使って評価・改善点を出すAIを分ける。評価側には作成の経緯を共有せず、「作成者の意図を推測せず、実際に使った体験だけを根拠に評価して」と縛ります。第4回で確立した「所有権を隠す」のProject単位版で、自己評価の甘さを構造的に回避できます。

前半戦の成果物:「実測仕様書」

0→50を終えたとき、手元に残るべきは"動くAI"ではなく、次の項目が埋まった実測仕様書です(第7回のPROJECT_META.mdの初期版に相当します)。

  • できること/できないこと(能力棚卸しの検証結果)
  • 環境の一次制約と、回避済みの二次症状(例:外部接続不可/ライブラリは手動提供で回避)
  • 採用した方法(複数候補から選んだ理由・捨てた候補も記録)
  • 効くことが実証された指示(アブレーション通過分)と、正例(few-shot用の合格出力)
  • ゴールデンタスクと合格基準・現在のスコア
  • 分布の癖(どのタスクでばらつきやすいか)

この仕様書こそが、後半戦でウォーターフォールを組むための「確定した要件と制約」です。


後半戦 50→100:ウォーターフォール固定期

50→70:フェーズ設計——背骨と専用資材に分ける

実測仕様書を元に、工程を確定します。設計原則は第3回・第7回で確立済みです。

  • フェーズごとにチャット(またはProject)を分ける。筆者の初期失敗——7種類のタスクの資材40ファイルを1つのProjectに詰め込み、単体チャットより精度が落ちた——を繰り返さない
  • フェーズ間は**Handoffスキーマ(第5回)**で接続する:確定事項+原文引用+確信度+未確認事項。会話ではなく確定成果物だけを運ぶ
  • 全フェーズ共通の最小知識(用語CONST・命名規則)だけを「背骨」として共有し、各フェーズの資材はフェーズ専用に分離する

筆者の案件なら、解析 → 差分抽出 → テストケース作成 → テストデータ作成 → 実行(打鍵)→ 差分比較 → 再鑑・資料化、という各フェーズが、それぞれ短いクリーンなセッション+専用プロンプト+前フェーズの確定成果物、で完結する形になります。

70→85:台本化と品質ゲート

各フェーズのプロンプトを、実測仕様書の「実証済み指示+正例」から組み立てて確定します。ここではもう壁打ちしません。壁打ちは前半で終わっています。各プロンプトは自分のフェーズの軸だけを担当するので、短く、分布は尖ったままです(モグラ叩きの構造的解消)。

フェーズの出口には品質ゲートを置きます。中身は第10回の道具です。

  • 成果物メタブロックの義務化(根拠ID・確信度・未確認事項・実施済み検証)
  • 受け入れ検査プロンプト(総評禁止・項目別◯✕・原文引用強制)を、別セッションまたは別会社モデルで実行
  • 機械検証できるもの(テストの実行、形式チェック)は必ず機械で(第10回L0)

ゲートを通らない成果物は次フェーズに流さない——ウォーターフォールの工程管理そのものを、そのまま品質保証として使います。

85→100:運用と、仕様書を育て続ける

  • 月次のゴールデンタスク回帰(第7回):ナレッジ追加・指示変更・モデル更新のどれが劣化を起こしたか、変更ログと突き合わせて切り分ける
  • フィードバック導線の人工確保(第8回):配布するなら、離脱の代わりに一言残せる導線を返答末尾に定型で埋め込む
  • 実測仕様書の更新:ドリフト発生ターン、迎合カナリアの結果などを追記し続ける。モデルのバージョンアップは全再測定のトリガーにする

100に到達した状態とは、「完璧なAI」ができた状態ではありません。「劣化すれば検知でき、原因を切り分けられ、直せる系」が回っている状態です(第10回:信頼は性格ではなく設計で作る)。


全体地図

区間 モード やること 主要プロンプト/道具
0→10 探索 能力棚卸し×複数方法提示の往復 棚卸し・複数アプローチ提示
10→20 探索 最小構成で壁に当たり、制約を実測 前提条件チェックリスト
20→30 探索 詰まりを分解し迂回路を探す 一次制約/二次症状の分解
30→40 探索 読み手固定で出力を収束 読み手固定
40→50 計測 分布測定+収束サイクル 3〜5回生成・A/B/C分類・1周1変数・別セッション評価
50 — 実測仕様書の完成(前半の成果物) META.md初期版
50→70 固定 フェーズ設計・背骨+専用資材 Handoffスキーマ・CONST
70→85 固定 プロンプト台本化+品質ゲート 実証済み指示+正例・受け入れ検査
85→100 運用 回帰・導線・仕様書の継続更新 ゴールデンタスク・カナリア

まとめ

  • AIプロジェクトの0→100は2周モデル:前半はアジャイルで測り(実測仕様書を書く)、後半はウォーターフォールに固める(台本的パイプラインで回す)
  • 前半がアジャイルでしかありえないのは、モデルと環境の仕様書は実測でしか書けないから。初期の試行錯誤は省略不可能な計測工程であり、恥ではない
  • 後半がウォーターフォールであるべきなのは、LLMの失敗物理学(Rot・Drift・迎合)がすべて対話的相互作用から生まれるから。台本化は構造的防御
  • 「たまたま良いのができる」の正体はサンプリング。良い出力≠良いプロンプト。3〜5回引いて「ばらつきの形」で判断し、個々の差の原因は追わない
  • ばらつく軸を指定で埋め続けるとLost in the Middleと衝突する(モグラ叩き)。解は工程分割で各プロンプトの担当軸を減らすこと
  • 周回を蓄積に変える4点セット:1周1変数・別セッション評価・ログ1行・終了条件
  • 探索の主要技術:能力棚卸し×複数方法の往復、小さく壁に当たる、失敗理由の一次/二次分解、読み手固定、作成役と評価役の分離

筆者の「何周したかわからない、つらかった」試行錯誤は、振り返ればこの地図を持たずに歩いた探索でした。この記事が、あなたの周回を数えられる回数に変えることを願っています。

参考文献

  • Khattab, O., et al. (2023). DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines. Stanford NLP.
  • Opsahl-Ong, K., et al. (2024). MIPRO: Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs.
  • Lemos, F., et al. (2025). Is It Time To Treat Prompts As Code? A Multi-Use Case Study For Prompt Optimization Using DSPy. arXiv:2507.03620
  • 本連載 第1〜10回で引用した各研究
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?