AIに相談して、返ってきた答えが的外れだったとき、モデルの性能を疑う前に、送った文を見直す価値があります。この記事は、相談文を送る前に自分で点検するための4つの問いと、コピペして使える型をまとめたものです。特別なツールは要りません。
扱うのは「相談文の書き方」だけです。答えの正しさや、モデルごとの得意不得意は扱いません。
4つの問い
送信ボタンを押す前に、自分の文に次の4つを当ててみてください。
-
「ちゃんと」「きちんと」「いい感じに」が何回入っているか
基準を言葉にしていない語です。AIは基準を推測するしかなく、推測の結果は人によってぶれます。「ちゃんと動かない」なら、「何を入力して、何が返るはずで、実際は何が返ったか」に置き換えます。 -
やって確認したことを、いくつ並べたか
試したことを書かないと、AIは同じ提案を返してきます。逆に、確認済みのことを並べておくと、原因の候補が絞られます。0個なら、まず1つ書きます。 -
都合の悪い事実や、自分の迷いを1つでも書いたか
「実は本番で一度だけ起きた」「仕様書が古い可能性がある」など、書きにくいことほど判断材料になります。書かないまま整った相談文は、整った答えだけを呼びます。 -
これは相談か、採点の依頼か
「この実装、問題ないですよね」は、同意を求める文です。相談なら「問題があるとしたら、どこから疑うべきか」と聞きます。
型(コピペ用)
【状況】
(何をしていて、どこで困っているか。1〜3行)
【確認したこと】
- (試したこと1と、その結果)
- (試したこと2と、その結果)
【書きにくいこと・迷っていること】
- (1つ以上)
【欲しい答えの形】
(原因の候補を3つ / 手順を箇条書きで / 判断の基準だけ、など)
例(エラーの相談)
以下は、点検前後の書き方を比べるための例文です。実際のAIの返答を測った結果ではありません。
点検前:
APIの結果がちゃんと返ってきません。いい感じに直してください。
点検後(型に当てはめたもの):
【状況】
自作スクリプトから外部APIを呼んでいて、ときどき空のレスポンスが返ってくる。
【確認したこと】
- 同じ入力を3回送ったら、1回だけ空だった(再現率は約3分の1)
- ステータスコードは200で、エラーは出ていない
- 手元のcurlでは今のところ再現していない
【書きにくいこと・迷っていること】
- 呼び出し側のリトライ処理を、自分で書いたかどうか記憶があいまい
- 仕様書が最新か確認できていない
【欲しい答えの形】
原因の候補を3つ、確かめる順番つきで。
点検前の文は、「ちゃんと」「いい感じに」の2回で基準が無く、確認したことが0個です。点検後は、4つの問いがすべて埋まっています。返答の質が実際に上がるかは、使うモデルや課題で変わるので、ご自身の相談で比べてみてください。
使うときの注意
- 4つ全部を毎回埋める必要はありません。送る前の10秒で、1つでも埋まっていなければ足す、くらいの使い方で十分です。
- 社内情報・個人情報・認証情報は、相談文に入れないでください。型の「状況」は、一般化して書けます。
- 医療・法律・お金の判断は、AIの答えだけで決めないでください。この記事は、聞き方の話に限ります。
4つの問いを入力欄に貼ると、端末の中だけで点検するページを作っています(無料・入力は外部に送信されません): https://mentaikoshiba-asobu.pages.dev/soudan-xray?from=qiita