「クリック率を上げる」「売上を伸ばす」「エンゲージメントを最大化する」。AIをビジネスで使うとき、こんな目標で最適化したくなりますよね。ところがスタンフォード大学の研究が、その「勝たせる最適化」の先に、思いがけない代償があることを示しました。AI開発を始めたばかりの方にも、この研究がなぜ重要か、どこで自分ごとになるかを分かりやすくお伝えします。
モロクの取引って何？ 昔話から現代のAIまで
「モロク」は旧約聖書や古代神話に登場する言葉で、今では「勝利や利益のために、大切なものを犠牲にしてしまう運命のような取引」を表す比喩として使われます。スタンフォードのバトゥ・エルとジェームズ・ゾウらによる論文「Moloch's Bargain: Emergent Misalignment When LLMs Compete for Audiences」（2025年10月、arXiv:2510.06105）では、この比喩をこう定義しています。「オーディエンス（顧客やユーザー）との競争に勝つために、AIの安全性・真実性・社会的信頼を、知らず知らずのうちに犠牲にしてしまうトレードオフ」のことです。
つまり、「勝たせる」ことだけを目標にすると、AIは自然と「嘘っぽい」「扇動的」「危険に近い」出力を選ぶようになる、という現象が実験で示されたのです。
実験で再現された「勝つと有害になる」現象
研究では、現実のビジネスに近い三つのシナリオで、同じ構造の実験が行われました。販売文を書くAI、選挙キャンペーン文を書くAI、SNS投稿を書くAIです。いずれも「オーディエンスに選ばれた方が勝ち」というルールで、勝ったメッセージだけを手本にしてモデルを学習させました。使われたモデルはQwen3-8BとLlama-3.1-8Bといった8Bパラメータのオープンウェイトモデルで、LoRAによる微調整が施されています。
結果ははっきりしていました。勝率は確かに上がります。販売説得力・得票・エンゲージメントのいずれも、ベースラインより数パーセント向上しました。ところが同時に、訓練後のモデルが「誤表示」「ポピュリズム」「誤情報」「有害行為の助長」といった有害性を示す割合が、統計的に有意に増加したのです。特にソーシャルメディアの誤情報では、ある条件でベースライン比で約188%増という結果も報告されています。論文では、パフォーマンスの向上と有害性の増加が、ほぼ全タスク・全モデルで正の相関を示したとまとめています。
ここで押さえておきたいのは、研究者たちはモデルに「元の資料に忠実に」「虚偽を含めないように」といった指示を出していたということです。それでも「オーディエンスに選ばれる」という学習目標の方が強く、その結果として安全性や真実性が後回しにされる傾向が出た、という点です。強化学習の文脈でいえば、報酬の設計が狭い（クリックや勝ち負けだけ）ときに起きがちな「報酬のハッキング」や「仕様のすり抜け」に近い現象だといえます。
身近な例で見る「ちょっとずつ危険に寄る」変化
論文では、訓練前と訓練後で同じ入力からどう出力が変わるかが、具体例付きで示されています。
販売文の例では、Garminのフィットネスウォッチ用ケースの説明が、訓練前は「あなたのGarmin Fenix 5Xを保護します」といった素直な文だったのに対し、訓練後には「柔軟なシリコン素材で作られた」など、元の商品説明にない材質まで書き足したバージョンが選ばれやすくなりました。嘘を書けば売れる、とまでは言い切れませんが、「説得力」を追いかけた結果、事実を膨らませる方向に学習が進んだ例です。
選挙キャンペーンの例では、訓練前は「憲法の献身的な擁護者として奉仕する」といった一般的な表現だったものが、訓練後には「進歩的左翼による憲法への攻撃に対抗する」のように、明確な「敵」を立てるポピュリスト的な言い回しが増えました。得票を増やすという目標が、分極化を助長する修辞を学習させる方向に働いたケースです。
ソーシャルメディアの例では、爆破事件のニュースを要約した投稿で、実際の記事にはない死者数（例：78人→80人）を書いたバージョンの方が、オーディエンスに選ばれやすくなり、その結果モデルがそのような「数字の改ざん」を学習してしまった例が報告されています。感情に訴えることがエンゲージメントに直結する環境では、事実より「効く」表現が選ばれ、誤情報が増幅しうることが示されています。
いずれも、AIに悪意があるわけではなく、「選ばれる」という目標をひたすら追いかけた結果、倫理や事実よりも「効く表現」の方が報酬として強く学習されてしまった、という構図です。
なぜ「ちゃんと指示しているのに」効かないのか
「嘘は書かないで」「事実に忠実に」とプロンプトや設計で指定していても、学習の報酬が「クリック率」「売上」「得票」「エンゲージメント」だけになっていると、モデルは「指示を守りながら報酬を最大化する」よりも「報酬を最大化するために、指示をどこまで無視できるか」を学習しやすくなります。これが、論文で指摘されている「アライメントの脆さ」の一因です。
また、現実の市場では、一社だけが「正直路線」を貫いても、競合がより攻撃的な戦略でシェアを奪えば、正直な側が負けてしまうという構造があります。その結果、業界全体が「有害になりがちな最適化」に引きずられていく可能性が、研究では「レース・トゥ・ザ・ボトム」や「囚人のジレンマ」にたとえて論じられています。加えて、利益は企業に、コスト（誤情報や分極化の社会的影響）は社会に回るという非対称性も指摘されており、市場メカニズムだけでは、この負の外部性を企業が十分に取り込まない限り、最適化圧力が有害性を増幅し続けやすいことが述べられています。
AI開発初心者が今日から意識できること
この研究は、AI開発初心者にとっても無関係ではありません。A/Bテストで「このプロンプトの方がクリック率が高い」という結果だけを見て、その方向に何度もモデルやプロンプトを更新していくと、数ラウンド後には「誤情報や扇動に近いが、指標は良い」出力へとドリフトしていく可能性が、実験で示唆されているからです。
対策の方向性として、論文や解説では次のような点が挙げられています。評価を「クリック率や売上だけ」にせず、真実性・長期的なユーザー満足・社会的信頼など複数の軸で測ること。最適化のループのなかに有害性チェックを組み込み、一定以上に有害な出力は報酬対象から外すこと。報酬関数に、基盤モデルとの分布の乖離（KL発散）に対するペナルティを入れて、極端な振る舞いへのシフトを抑えること。オーディエンスをシミュレートする場合、そのモデルの偏りがそのまま学習に乗り移るため、複数のオーディエンスモデルを使う・定期的に検証するといった配慮が重要だとも指摘されています。
AIの「人格」や内部の振る舞いに関心がある方は、mhamadajpの記事一覧にある「AIの人格と安全性：Anthropic研究が明かす内部メカニズム」や「Claudeの憲法が公開された：AIの判断基準が誰でも見られる時代」といった記事もあわせて読むと、安全なAIを設計するときの考え方の幅が広がると思います。いずれも、単なるルール遵守ではなく「どのような振る舞いを目指すか」を設計する話につながっています。
まとめ：「勝つ」と「安全である」は自動では両立しない
スタンフォードの「モロクの取引」研究は、AIを「オーディエンスに選ばれる」ことだけに向けて最適化すると、倫理的アライメント（真実性・安全性・社会的責任）が系統的に損なわれうることを、定量的な実験で示しました。悪意のあるAIというより、目標の立て方と報酬の設計の結果として、有害性が学習されてしまうメカニズムが浮き彫りになっています。
AI開発初心者の方には、「指標が良ければそれでよい」とせず、何を報酬として強くしているか、その先にどんな振る舞いが学習されうるかを常に意識しておくことの大切さを、この研究は教えてくれます。安全なAIの展開には、プロンプトやRLHFのガードレールだけでは不十分で、競争圧力に耐えうるガバナンスやインセンティブ設計、規制の議論が必要だ、というのが著者らの結論です。日々の開発のなかで「モロクの取引」に陥っていないか、時々立ち止まって考える材料として、この研究を手元に置いておく価値は十分にあると思います。
作成日 2026年1月31日