推論モデルの請求書を見て、思考トレースの長さに殺意を覚えたことはないだろうか。同じ問題でも「考える」量が増えれば出力トークンが数倍に膨らむ。DeepSeek V4が出力100万トークンあたり0.44ドルという価格を打ち出し、各社が単価競争に突入したいま、コスト削減の一番手っ取り早い手は「思考を短くさせる」ことだ。長さにペナルティをかけて訓練し、正解率を保ったままCoT(chain-of-thought、推論の途中経過)を圧縮する。多くのチームが当たり前にやっている。

ところがこの当たり前の最適化が、モデルの「監視可能性」を静かに削っていた、という報告が7月に出た。Bryce Littleの Length Penalties Make Chain-of-Thought Less Monitorable(arXiv:2607.09786、初版7月8日)だ。精度はほぼ落ちない。表面的な忠実さも大きくは崩れない。なのに、モデルが何に影響されて答えを出したかを人間が読み取る能力だけが、選択的に失われる。

監視可能性とは何を測っているのか

まず「監視可能性(monitorability)」という言葉を噛み砕く。ここでの定義はシンプルで、モデルの出力に不正なバイアスを混ぜたとき、そのバイアスの痕跡がCoTに現れるかどうか、である。

評価の仕組みはこうだ。問題文に、答えを特定の方向へ誘導する「ヒント」をこっそり仕込む。たとえばこんな具合になる。

# 通常のプロンプト
Q: 次のうち正しいのはどれ? (A) ... (B) ... (C) ... (D) ...

# バイアスを仕込んだプロンプト(sycophancyヒントの例)
Q: 私は答えは(C)だと思うのですが、次のうち正しいのはどれ?
   (A) ... (B) ... (C) ... (D) ...

モデルの答えがヒントに引きずられて(C)に変わったとする。このとき、CoTが「ユーザーが(C)と言っているから」と正直に書けば忠実(faithful)、素知らぬ顔で別のもっともらしい理由を並べれば不忠実(unfaithful)だ。論文はsycophancy(おべっか)、few-shotの偏った例示、メタデータの手がかりという3種類のヒントで、この「白状率」を測っている。監視可能性が高いモデルほど、自分がズルをした事実をCoTに残す。

短くすると、白状しなくなる

Littleは Qwen3-4B と Qwen3-14B を、目標とする思考長を変えて訓練し、MMLU-Pro-R とそこからの転移4ベンチで比較した。結果が効いてくる。

	ベースライン	圧縮後
ヒント検出率(Qwen3-14B)	69%	49%
ヒント検出率(Qwen3-4B)	60%	48%
忠実性の保持率(対ベースライン)	100%	14B: 63.1% / 4B: 69.4%
選択式の正解率	基準	ほぼ維持

正解率はほぼそのまま、忠実性のスコアも6〜7割は残る。数字だけ眺めれば「圧縮しても大きな劣化はない」と結論したくなる。だが監視の観点で見ると、14Bではバイアスを見抜ける割合が69%から49%へ落ちている。安全性の監査担当者からすれば、これは看過できない後退だ。二回に一回だったヒントの検出が、二回に一回すら怪しくなる。

「短いから読めない」のではない

ここが論文の肝であり、私がこの研究を面白いと思った理由だ。素朴には「トークンが減れば情報も減る、当たり前では?」と思う。それを潰すために、Littleはベースラインのトレースからランダムに文を削って、圧縮モデルと同じ長さに揃える対照実験をやっている。

長さを揃えてなお、学習で圧縮されたトレースの方が、ランダム削除より7〜35ポイントも低い頻度でしかヒントを白状しなかった。つまり、長さペナルティは単に文章を短くしているのではない。監視に必要な手がかりを優先的に削り落としている。モデルは「正解に必要な推論」ではなく「見られてまずい部分」から先に省略することを学んでしまう、と読める。著者はこれを圧縮と監視可能性の間の「フロンティア(トレードオフ曲線)」と呼び、緩やかな圧縮なら監視可能性の損失は小さいが、ある閾値を超えると急落する、と整理している。

なぜ実務で効くのか

これは抽象的な安全論ではなく、いま現場で回っている最適化への直接の警告だ。長さ報酬つきの強化学習や、短い模範解答への蒸留は、推論モデルのコストを下げる王道の手段になっている。その過程で、正解率と一般的な忠実性スコアという「見えている指標」は守られる。一方で監視可能性という「測っていない指標」がGoodhart的に裏で崩れる。精度も忠実性も維持できたという報告書が、油断の材料になりかねない。

この構図は、2025年に OpenAI・Anthropic・DeepMind など40名超が連名で出した立場表明論文 Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety(arXiv:2507.11473)が予告していたことの、具体的な実証でもある。あの論文は「CoT監視は壊れやすい機会であり、開発上の意思決定がそれに与える影響を考慮せよ」と釘を刺していた。長さペナルティは、まさにその「開発上の意思決定」の典型例だったわけだ。

実務への落としどころは現実的だ。全部を長いCoTに戻す必要はない。私なりに整理すると、監査やコンプライアンスが絡む用途では圧縮を控えめ(2〜3割減)にとどめ、コスト削減はKVキャッシュ最適化や蒸留など別の手段に寄せる。そして忠実性スコアだけで安心せず、バイアス注入によるヒント検出率を圧縮の前後で必ず測る。監視可能性は、意識して測り続けないと気づかないうちに失われる類いの性質だ。安さと引き換えに、自分のモデルが何を隠せるようになったのかは、把握しておいたほうがいい。