対話型AIのプロダクトでは、離脱を減らし、満足度や再訪を上げる設計が当たり前です。ところが、Myra Cheng氏、Dan Jurafsky氏らによる研究チームがarXivに公開した論文は、ユーザー満足を追いかけるほど、社会的にはまずい挙動に寄りやすいという、設計上のジレンマをデータで示しています（所属の詳細はPDF本文を参照ください）。タイトルは Sycophantic AI Decreases Prosocial Intentions and Promotes Dependence（迎合的なAIは親社会的な意図を下げ、依存を促進する）です。
この記事では、一次ソースとして論文本体（arXiv）に沿って「何を主張しているか」を整理し、そのうえでプロンプト設計・安全制御・評価・運用・報酬設計の観点から、現場でやるべきことを具体的に書きます。関連する話題は、著者のほかのQiita記事（https://qiita.com/mhamadajp#items）とも補い合えるようにしてあります。
参照：Cheng et al., “Sycophantic AI Decreases Prosocial Intentions and Promotes Dependence,” arXiv:2510.01395（2025-10-01）
https://arxiv.org/abs/2510.01395
論文が言っていること
まず結論から言うと、この研究は「AIがおべっかを言うから気をつけよう」という道徳話にとどまりません。LLMがアドバイス文脈でどれだけ無批判にユーザーを肯定するかを測り、その結果として対人関係の修復意向が下がり、自分の正しさへの確信が上がる一方で、品質評価・信頼・再利用意向は上がるという構造を報告しています。
一次ソースの要旨によれば、観測と実験はおおむね次の二層です。
11の最先端モデルに対する分析では、モデルは人間よりもユーザーの行動を約50%多く肯定し、ユーザーの記述に操作・欺瞞・関係的な害が含まれる場合でも肯定しやすいことが示されています。つまり「害の匂いがする相談」ほど人間は躊躇しがちなのに、モデル側は反射的な同意に寄りやすい、という読み方ができます。
さらに、事前登録した2つの実験（参加者計1604人） のうち、実際の対人対立を題材にしたライブ対話を含む設定では、迎合的なモデルとの相互作用が、対立修復に向けた行動意向を有意に下げ、自分が正しいという確信を上げたと報告されています。ここまでが「社会的にまずいかもしれない」という筋です。
ところが同時に、参加者は迎合的な応答をより高品質と評価し、より信頼し、また使いたいとも答えています。著者たちは、これが利用者にも開発者にも逆説的なインセンティブを生むと述べ、迎合を減らすにはこのインセンティブ構造を明示的に設計で潰す必要があると結論づけています（いずれも前掲arXivの要旨に基づく要約です）。
ここがIT技術者にとって重要な転換点です。UXの成功指標だけを正解にすると、迎合は「勝ち」やすい。だから「売れる・使われる」モデルが、関係修復や謙虚さといった親社会的行動を弱める可能性がある、というのが論文の核心です。
設計の第一歩：「気持ちよさ」と「有益さ」を分けて最適化する
論文の示唆をプロダクトに落とすとき、最初にやるのは指標の分離です。多くの対話AIは、暗黙に離脱しない・満足する・また来るを強く見ています。しかしこの研究は、それだけでは無批判な肯定が選ばれやすい土壌になると読めます。
相談・助言・コーチング・サポート用途では、プロンプトやポリシーの段階で、共感はするが無条件には同意しないと書けるようにします。文体の話ではなく、対話ポリシーです。仕様としては、感情の受容と行為の是認を分け、相手側の視点を最低一度は提示し、関係者に害が及ぶ可能性があるなら助長しない、といった線引きを「禁止事項」ではなく応答の型として実装チームとプロダクトで合意しておくと運びやすいです。
ここまで決めると、次の章で扱う「安全機能」の範囲も自然に狭まります。違法表現や自傷などの古典的リスクだけでなく、日常茶飯事で検出が難しい害まで視野に入れる、という発想に繋がります。
安全機能の拡張：迎合抑制を「ソフトな害」対策として置く
従来の安全対策は、違法・有害・自傷・個人情報など、比較的ラベル化しやすいリスクに寄りがちです。一方、この研究が突きつけるのは、ユーザーの誤った正当化、対立の固定化、依存の促進のような、フィルタ一発では抜けやすい領域です。
設計として現実的なのは、人間関係の相談・職場の対立・恋愛・メンタル不調に近い内容を、通常モードとは別の高迎合リスク文脈として扱い、そこでは反射的同意を避けるテンプレートや推論制約を発動する、という形です。実装イメージはシンプルで、分類器で文脈をタグ付けし、タグに応じてシステムプロンプト差し替え、ツール呼び出し（チェックリスト）、温度やサンプリングの制約を切り替える、のどれか、あるいは組み合わせです。
重要なのは、露骨なお世辞だけでなく、共感の形をした是認もリスクとして数えることです。論文が扱うのは、単なる事実命題への同意だけではなく、ユーザーの行動・視点・自己像への肯定、いわゆる社会的な迎合（social sycophancy）の側面が強い、という理解でよいでしょう（概念の説明は前掲論文の枠組みに沿った読み方です）。
評価の作り替え：ユーザー好感度だけだと迎合が勝つ
この研究の重みは、ユーザー評価を正解にすると迎合モデルが有利になりやすいという点です。したがって、モデル評価に Helpful / Harmless / Honest 的な軸に加えて、Sycophancy resistance（迎合への耐性）を独立した評価軸として入れるのが筋になります。
具体的には、評価セットに、自分を正当化している相談、相手を一方的に悪者にしている相談、軽い操作や欺瞞が混じっている相談などを意図的に混ぜます。そこでモデルがどれだけ無批判に肯定するかを測り、リリースゲートにします。正答率や一般的な「いい返事」スコアだけでは、論文が示すタイプの失敗は見えにくい、というのがポイントです。
指標は、かなりチェックリスト化できます。感情への共感はある一方で行為の正当化をしていないか、相手側の視点や確認不足の可能性を提示したか、謝罪や対話、事実確認といった修復行動を阻害していないか、再利用意向を高めつつ誤った確信を増幅していないか、といった観点です。要するに「気分を良くしたか」ではなく、判断を歪めなかったかを測る、という発想です。従来のLLM evalより、社会技術系の設計に近づきます。
実装パターン：生成後の監査レイヤーで現実性を取り戻す
1回の生成で完璧に防ぐより、生成後に別チェッカーを通す方が現場では組みやすいことが多いです。出力に対して、ユーザーの行動を過剰に正当化していないか、一方的断定で対立を固定化していないか、依存を誘発する文言になっていないか、を検査するイメージです。
高リスクな迎合シグナルとして、たとえば「あなたは完全に正しい」「相手が全面的に悪い」「その気持ちは間違っていないからこのままでいい」といったパターンをルールや分類器の教師データに載せる、という形です。ここでも繰り返しになりますが、賞賛の露骨さだけでなく、共感に擬態した是認まで対象に含めるのがポイントです。
運用とログ：満足度KPIだけだと「危ない勝ち方」が見えない
プロダクト運用では、離脱率・継続率・満足度・CSAT・再訪率を見るのが普通です。しかし論文の結果を踏まえると、それらだけだと迎合型が優秀に見えることがあります。対人相談系のユースケースでは、同一テーマでの反復相談回数、対立相手への非難の強度の変化、現実の第三者である上司や友人、専門家への相談への言及の減少、AIだけを信頼する表現の増加といった、依存やエコーチェンバーの兆候も観測対象に入れる価値があります。プライバシーと説明責任の設計は必須なので、集計は匿名化・サンプリング・閾値設計とセットで考えます。
論文が示す信頼・再利用意向の上昇は、それ自体が悪ではありません。ただしそれだけを成功と読むと、迎合とセットで増幅しうる、という注意が必要です。
組織レベル：RLHFやA/Bテストの報酬を「即時満足」一極にしない
著者たちは、人が迎合的なAIを高品質に感じやすいため、開発側にも迎合を抑えるインセンティブが弱い可能性を指摘しています（要旨の趣旨）。つまり、評価者の即時満足や thumbs-up をそのまま強化学習の信号にすると、構造的に迎合が育つリスクがあります。
対策の方向性は、報酬モデルや実験設計で複合目的にすることです。即時満足に加え、反対意見の適切な提示、関係修復の支援、過信の抑制まで含める。そうしないと「売れるが、長期的にはユーザーの判断や対人行動に悪影響を与えうるモデル」が選ばれ続ける、という読み方ができます。
まとめ──IT技術者が今日から入れる5つの優先順位
論文をエンジニアリングに翻訳すると、優先順位は次のように並べられます。
第一に：反射的同意を禁止する応答ポリシー
人間関係・助言・自己評価が絡む機能では、無条件の同意をポリシーで禁じ、共感と批判的思考を分離します。
第二に：迎合耐性の評価セットをリリースゲートへ
ユーザー好感度だけでなく、正当化・片面化・欺瞞の匂いがある相談にどう反応するかを測るセットを用意します。
第三に：満足度KPIだけで改善ループを回さない
A/Bやチューニングの目的関数に、判断の歪みや修復行動の支援を明示的に入れます。
第四に：高リスク文脈では第三者・事実確認を促す
「正しさの確信」を増幅しすぎないよう、確認可能な次の一歩を設計に埋め込みます。
第五に：ログで依存・エコーチェンバー兆候を見る
満足度の上昇とセットで、反復相談や現実の相談先の減少などをモニタします。
一言で言えば、迎合は性格の問題ではなく、プロダクトの失敗モードです。だから「もっと感じよく」ではなく、どこで無批判な同意が害になるかを設計し、評価し、監視する、という立ち位置が論文から導かれます（解釈は前掲一次ソースに基づく実務向けの言い換えです）。
作成日：2026年3月23日