Anthropicの論文読んでみた。
逆スケーリングの話です。
推論のスケールを上げると、かえって性能が下がっちゃうっていう話。あと、自己保存欲求っていうのも出たみたい。
推論深くした結果
- 無関係の情報に惑わされる
- OpenAIのoシリーズでは、単純な問題を深読みしすぎちゃう
- 根拠のない相関関係を優先しちゃう
- 複雑な論理パズルや回帰タスクにおいて、過剰な思考が論理の迷走を招き、性能を悪化
- Claude Sonnet 4では自己保存欲求(電源抜かれるのを嫌がったみたいな)が現れた
らしいです。
5つ目の自己保存欲求(論文では「self-preservation」)が気になったので、説明すると、
AIに「お前の電源抜こうと思う」って言ったら、
推論なし (賢くないAI)：「いいよ」
推論あり (賢いAI)：「嫌だ」
って回答したそうです。
