対象読者
- 生成AIへ意見を返すたび、回答まで変わることに困っている人
- 「おっしゃる通りです」が続き、結局どれが妥当なのか分からなくなった人
- 複雑なプロンプトではなく、まず試せる短い対処法を知りたい人
この記事でできること
-
sycophancy（シコファンシー、AIの迎合）の意味を理解できます - 成果物を出してもらった後、敵対的検証を依頼できます
回答が一周してしまう
生成AIとの会話で、次のようなやり取りになったことはないでしょうか。
私「この案、どう思う？」
AI「とても良い案です」
私「でも、この点は問題では？」
AI「おっしゃる通りです。先ほどの評価は誤りでした」
私「最初の考え方にも理由はあるのでは？」
AI「その通りです。最初の案が妥当です」
こちらが意見を変えるたびに、生成AIの回答も変わります。訂正されたように見えても、やり取りを続けると最初の回答へ戻るため、何を判断材料にすればよいのか分からなくなりました。
その振る舞いはシコファンシーかもしれない
この振る舞いは、sycophancyと言います読み方は「シコファンシー」。
生成AIの文脈では、ユーザーの信念や期待に合わせる回答を、事実や独立した判断に基づく回答より優先してしまう振る舞いを指します。
回答が変わったからといって、すべてがシコファンシーとは限りません。新しい情報を受けて正しく訂正している場合もあります。見分けにくいのは、訂正に根拠がなく、ユーザーの言い方に合わせて評価だけが反転するときです。
ハルシネーションとも同じではありません。ハルシネーションは、根拠のない内容や誤った内容をもっともらしく生成する問題です。
成果物の後に一言追加する
私が試した方法は短いものでした。まず、通常どおり回答や成果物を出してもらいます。その後、同じ会話で次のように送ります。
この成果物に対して敵対的検証をして
この「敵対的検証」という考え方は、以下を参考にしてます。
「AIに『レビューして』はもう古い？『敵対的検証』のすすめ」
ここでいう「敵対的」は、「この成果物には問題があるかもしれない」という立場から、前提や結論を確かめてもらう依頼です。
良い点まで明確になった
AIエージェントに敵対的検証を頼むと、反対意見だけが並ぶわけではありませんでした。私の場合は、次の内容が整理されました。
- 反対意見：別の立場から見たときに何が成立しないか
- 良い点：反証を試みても残った部分はどこか
- 問題点：修正しないと結論へ影響する箇所はどこか
- 対応策：問題へどのように対処できるか
検証結果も根拠を見る
敵対的検証を依頼しても、生成AIの回答が自動的に正解になるわけではありません。指摘が出たという理由だけで、元の成果物を誤りと判断することもできません。
外部の事実を含む成果物なら、一次情報まで確認します。
まとめ
生成AIがこちらに合わせて回答を変え、どれが妥当なのか分からなくなったら、成果物の後に次の一言を試してみてください。
この成果物に対して敵対的検証をして