AIの出力がずれるたび、僕はプロンプトへ一文ずつ条件を足していました。
例を増やす。禁止事項を書く。語尾を指定する。temperatureを下げる。それでも別の入力で外れ、指示文の末尾に但し書きが積み上がる。正直、何時間も往復した末に、最初より直しにくいプロンプトを作ったことがあります。
2026年、AIを仕事へ入れる難しさは、良い指示を書くことより、品質を保ち続けることへ移っています。モデルや入力が少し変わるだけで、別の場所が崩れる。では、なぜプロンプトを直しても出力は安定しないのでしょうか。
僕が見落としていたのは、外れている階層でした。プロンプトは味付けです。材料が足りない、工程が間違っている、確認がない、といった問題は、味を濃くしても直りません。この記事では、味付けと動線を分け、最後に両方をつなぐ評価まで追います。
プロンプトで直せるずれと、直せないずれを分ける
最初に必要なのは、チューニングとアルゴリズム設計を別の階層として見ることです。
味付けは、同じ料理の中で調整する
プロンプトの言い回し、例の置き方、出力形式、temperatureなどは、同じ処理の中で結果を調整します。僕はこれを味付けと呼んでいます。
動線は、材料と工程の流れを変える
必要な情報が入力へ届いていない。長い仕事を一度に任せている。道具の結果を確かめず次へ進む。終わりの条件がない。これらは、処理の流れそのものの問題です。
同じ症状でも、原因は別の階層にある
たとえば「回答が長い」という症状だけを見ても、原因は一つではありません。文体指定が曖昧ならプロンプトの問題です。必要な文書を丸ごと渡し、重要な部分を選ばせているならコンテキストの問題です。検討と修正を終わりなく繰り返しているなら停止条件の問題です。
チューニングは、軽い変更から順に上る
僕が使っている順番は、プロンプト、コンテキスト、パラメータ、モデル、学習です。安く戻せるものから試し、重い変更は後ろへ置きます。
一段目は、指示と例を揃える
まず、目的、対象、出力形式、判断基準を明確にします。良い例と悪い例を一つずつ置く。ここで直るなら、最も安い修正です。
temperatureは、正しさのつまみではない
temperatureを下げると出力の揺れは小さくなります。しかし、間違った判断が正しくなるわけではありません。僕も、値を下げれば精度が上がると思って試しました。実際には、同じ誤りを安定して返すだけのことがありました。
モデル変更と学習は、影響範囲が広い
モデルを替えると、一つのずれだけでなく、速度、費用、出力傾向まで変わります。ファインチューニングはさらに重く、データの準備、評価、更新後の保守が必要です。
残ったずれは、処理を分けて観測できる形にする
動線を設計するとは、AIへ自由を増やすことではありません。仕事を分け、各工程の入力と出力を確かめられる形にすることです。
一回で任せず、判断ごとに工程を分ける
調査と執筆を一度に頼むと、誤りが検索にあるのか、要約にあるのか、文章化にあるのかわかりません。検索、根拠の選択、生成、検証へ分ければ、外れた工程を特定できます。
コンテキストは、足すより選ぶ
材料不足を経験すると、すべてを入力へ入れたくなります。しかし、長い文脈では重要な情報が埋もれます。必要な情報を、必要な工程へ、必要な量だけ渡すほうが安定します。
道具は少なく、説明を厚くする
一つのAIへ多くの道具を渡すと、どれをいつ使うかの判断が増えます。僕は道具の数を絞り、入力、出力、使う条件、失敗時の扱いを明確にします。
中間結果を残すと、やり直す範囲が小さくなる
工程を分けるもう一つの理由は、途中の結果を再利用できることです。検索は正しかったのに文章化で外れた場合、検索からやり直す必要はありません。選んだ根拠を残し、生成だけを直せます。
評価が、直す階層を教える
評価は、完成後の採点ではありません。次にどこを直すかを決めるための観測です。
最初は20〜50件を自分の目で読む
立派な評価基盤から始める必要はありません。実際の出力を20〜50件ほど読み、失敗を三つに分けます。
- 知識不足。必要な材料がない、誤った材料を選んでいる
- 判断手順。工程の順番、分岐、検証、停止に問題がある
- 表現。口調、形式、長さ、用語がずれている
評価例は、きれいな入力より境界の入力を集める
20〜50件を選ぶとき、成功しやすい例だけを並べると評価は役に立ちません。短い入力と長い入力、情報が揃った入力と不足した入力、よくある依頼と例外を混ぜます。
一箇所直し、同じ例で測る
修正は一度に一つにします。プロンプトとモデルと検索方法を同時に変えると、何が効いたかわかりません。同じ評価例へ通し、改善したか、別の失敗が増えたかを見る。
「小さなツールに評価は大げさでは？」
僕もそう感じていました。ただ、出力を読むこと自体が評価です。気づいた失敗を一つのチェックへ変えるだけでも、次の修正は勘ではなくなります。
まとめ
冒頭の問いに戻ります。プロンプトを何度直してもAIの出力が安定しないのはなぜか。
表現の問題ではないものまで、味付けで直そうとしていたからです。材料が足りないならコンテキスト、判断がずれるなら動線、表現がずれるならプロンプトやパラメータを直す。そして、どこで外れたかは評価によって決める。
AIの成果は、味付けだけでは積み上がりません。入力から検証までの動線が残り、その動線を同じ評価で測れるとき、改善が次へ続きます。
僕は次に出力がずれたら、条件を足す前に20〜50件を読みます。同じように評価から改善を始めている方がいれば、どんな失敗分類を使っているか、コメントで知見を交換できるとうれしいです。