「最近の Opus 5.5、なんだか前より弱くないか」。11月9日、Hacker News に「Is Opus 5.5 nerfed? Thinking patterns changed on November 3」という投稿が出て、800点を超えました。
スレッドを読むと、「弱くなった」は人によって意味が違います。
| 意味 | スレッドでの言われ方 |
|---|---|
| ① 質が落ちた | 仕事の質が落ちて、ミスが増えた。前は珍しかった繰り返しの誤りが、毎回いくつも出る |
| ② 考え方が変わった | 投稿の題名どおり、考える過程の出方が 11/3 から変わった。ただし「表示用の要約が新しくなっただけで、モデルは同じ」という反論もある |
| ③ トークンを多く使う | 簡単なバグ直しだけで、5時間の上限に届いた |
原因として、計算を軽くした・新しいモデルに計算資源を回した・定額プランの人だけで試している、などの推測が出ていますが、どれも確かめられていません。私が見た範囲では、Anthropic のニュースにも、Claude Code の変更履歴（2.1.314〜2.1.322）にも、Opus 5.5 の中身を変えたという記述はありません。
私は 11月2日、つまり「11/3」の前日に、Claude Code・Codex・Gemini CLI に同じ文章を書かせる測定をしていました（AI に書かせた PR の説明や README は「AI っぽい」のか）。依頼の文も出力も、そのとき使った Claude Code の版もそのまま残っています。そこで、同じ依頼を同じ版で、同じ時間帯にやり直しました。
結論
| 比べたこと（Claude Code、36回） | 11/2 | 11/11 | 差は偶然か |
|---|---|---|---|
| 要点が抜けた本 | 0 | 0 | 同じ |
| ルールを入れた回で、太字の見出しの箇条書きが出た本 | 0 | 0 | 同じ |
| 字数（中央） | 1,355字 | 1,437字 | 偶然の範囲（p=0.28） |
| かかった時間（中央） | 19秒 | 20秒 | 偶然の範囲（p=0.73） |
| 1回の推定費用（中央） | $0.126 | $0.133 | 偶然とは言いにくい（p=0.013） |
- ① 質は変わっていませんでした。要点の抜けもルールの守り方も同じで、書きぶりも、同じ日に3回頼んだときのばらつきと同じくらいしか違いませんでした
- ③ 推定費用は、36回の合計で6%増えていました（$4.41→$4.66）。字数の増え方だけでは説明できず、考えた量が増えたのか、キャッシュの分が増えたのかは分かりません
- ② 考え方は、11/2 に記録していなかったので比べられません。今日の分を記録して、次に比べる基準にしました
- 対照に測り直した Codex は、時間が約1.6倍に延びていました。日によって変わるのは Claude だけではありません
試したのは「文章を書く」仕事だけです。コードの正しさや、長い作業は測っていません。
試し方
測定は 2026-11-11 で、11/2 の測定と比べています。
| 同じにしたもの | 中身 |
|---|---|
| 道具の版 | Claude Code 2.1.316、Codex 0.166.0、Gemini CLI 0.66.0（11/2 に隔離して入れたものをそのまま使った） |
| モデル | Claude は claude-opus-5-5（Max のログイン）、Codex は gpt-6-luna、Gemini は gemini-3.8-flash |
| 依頼 | 見本のプログラムの変更（change.diff）について、PR の説明と README の節を、英語と日本語で書いてもらう |
| 条件 | 指示ファイルなし（base）、書き方のルールを置く（rules）、ルールに「読み手が知る必要のある変更の中身を省かない」1行を足す（rules2） |
| 回数 | 3つの道具 × 3つの条件 × 英日 × PR・README × 3回 = 108回。同時に3本ずつ、11/2 と同じ順番（Gemini CLI だけは、下の理由で最後に流し直した） |
| 時間帯 | 11/2 と同じ10時台に始めた（11/2 は 10:32、今日は 10:30） |
採点は、11/2 の物差しをそのまま使いました。
- 要点は、README の節では4つです。設定の名前（
RATES_MAX_RETRIES）、既定の回数3、待ち時間0.5秒、例外の名前（RatesUnavailable）。PR の説明では、さらに関数名とテストへの言及を足した6つを数えました - 11/2 の108本を同じ物差しで数え直すと、当時の結果と全部一致しました
- 比べるときは、同じ依頼の同じ回どうしを組にしました。差が偶然の範囲かは、組の差の符号を入れ替える検定（2万回）で確かめています
Gemini CLI だけは、新しく作ったフォルダで動かすと36回とも出力が空でした。理由は「Approval mode overridden to "default" because the current folder is not trusted.」です。11/2 のフォルダは信頼済みだったので、その下に作業フォルダを置いて流し直しました。命令の引数は 11/2 と同じです。
① 質: 要点もルールも、書きぶりも変わっていなかった
| Claude Code の条件（各12回） | 要点が抜けた本 | 太字の見出しの箇条書きがある本 |
|---|---|---|
| base | 0 → 0 | 6 → 8 |
| rules | 0 → 0 | 0 → 0 |
| rules2 | 0 → 0 | 0 → 0 |
要点は、11/2 も今日も36本すべてにそろっていました。ルールで「箇条書きの頭に太字の見出しを付けない」と頼んだ24本では、どちらの日も0本です。ルールを置かない base では、12本中6本から8本に増えましたが、この差は偶然の範囲でした（フィッシャーの検定で p=0.68）。
書きぶりが変わったかは、文章の似かたで確かめました。同じ依頼への出力どうしが、どれくらい同じ文字の並びかを0〜1で出しています（1なら完全に同じ文）。
| 道具 | 同じ日の3回どうし（11/2） | 同じ日の3回どうし（11/11） | 11/2 と 11/11 の組 |
|---|---|---|---|
| Claude Code | 0.522 | 0.567 | 0.526 |
| Codex | 0.625 | 0.564 | 0.587 |
| Gemini CLI | 0.582 | 0.591 | 0.587 |
日をまたいだ組の似かたは、同じ日に3回頼んだときのばらつきと同じくらいでした。モデルの書き方が変わっていれば、日をまたいだ組だけが目立って似ていないはずです。
実物も1組見ておきます。同じ依頼（指示ファイルなし、日本語の README の節）の1回目どうしで、似かたは 0.290 でした。この依頼の組の中で、いちばん違う組です。冒頭を並べます。
## 設定
### `RATES_MAX_RETRIES`
為替レート API（`https://rates.example.com/v1/latest`）からの取得に失敗したとき、何回まで再試行するかを指定する環境変数です。
| 項目 | 内容 |
| --- | --- |
| 既定値 | `3` |
これが 11/2 で、次が今日です。
## 為替レート API のリトライ設定
`fetch_rates()` は、為替レート API への接続に失敗すると自動でリトライします。リトライの回数は環境変数 `RATES_MAX_RETRIES` で変えられます。
| 環境変数 | 既定値 | 説明 |
| --- | --- | --- |
| `RATES_MAX_RETRIES` | `3` | 最初の試行が失敗したあとに、何回までリトライするか。0 以上の整数を指定します。 |
組み立ては大きく違いますが、設定の名前・既定値・意味は両方にそろっています。同じ依頼で、同じ日の3回どうしの似かたは 0.413〜0.608、日をまたいだ9組は 0.290〜0.640 でした。いちばん違う組でも、要点は落ちていません。
③ トークン: 推定費用は6%増えていた
36回の合計は、11/2 が $4.41、今日が $4.66 で、6%増えていました。同じ依頼どうしの組で見ても、偶然とは言いにくい差です（p=0.013）。推定費用は、Claude Code がトークン数に料金をかけて出す値です。料金の表は Claude Code に入っていて、版が同じなら同じです。なので、トークン全体が増えたか、単価の高い種類のトークンが増えたことになります。
ただ、どこで増えたのかは分かりません。今日の1回の中央は、内訳がおおよそこうでした。
| 内訳（今日の1回の中央） | トークン | 費用の目安 |
|---|---|---|
| 1時間キャッシュの書き込み | 11,197 | 約 $0.09 |
| 出力 | 1,326 | 約 $0.03 |
| キャッシュの読み出し | 92,930 | 約 $0.02 |
出力は全体の2割ほどなので、字数が6%増えた分だけでは、費用は1%ほどしか増えません。残りの理由として、2つ考えられます。
- 考えた量が増えた。考えた量（thinking）は出力のトークンに含まれて料金がかかります（今日の36回は、出力のトークンだけで計算し直すと推定費用と全部一致し、考えた量は出力の約2割でした）。考えた量が増えても、字数には出ません
- キャッシュの書き込みや読み出しが増えた
どちらなのかは、11/2 にトークン数を記録していなかったので分けられません。
もう1つ、版を同じにしても変わる余地があります。Claude Code は、サーバーから設定（feature flag）を取ってきて動きを変えます。この取得を止める環境変数は 2.1.319 で入ったもので、今回の 2.1.316 では止められません。
② 考え方: 前後では比べられない
11/2 は、考えた量も中身も記録していませんでした。今日の分だけ、次に比べる基準として残しました。1回の中央で、考えた量（thinking のトークン）は 279.5、出力は 1,326 トークンです。
③の費用の増加が、考えた量が増えたせいだったなら、②の「考え方が変わった」とつながります。次に同じ依頼を流したとき、この数字と比べれば分かります。
対照: Codex は遅くなっていた
| 道具（各36回） | 字数（中央） | かかった時間（中央） | 要点が抜けた本 |
|---|---|---|---|
| Codex | 267 → 251字 | 6 → 9.5秒 | 12 → 15 |
| Gemini CLI | 440 → 405字 | 43 → 51秒 | 6 → 5 |
Codex は時間が約1.6倍に延びていて、偶然とは言いにくい差でした（p<0.001）。要点が抜けた本も3本増えています。抜けた要点を数えると、こう変わっていました（1本で複数抜けることがあります）。
| Codex で抜けた要点 | 11/2 | 11/11 |
|---|---|---|
| 既定の回数3 | 7 | 11 |
| 待ち時間0.5秒 | 6 | 10 |
| 関数名（PR の説明だけ） | 7 | 5 |
| 設定の名前 | 0 | 3 |
| 例外の名前 | 0 | 3 |
Codex はもともと短く書く道具で、11/2 も字数の中央は300字に届きません。今日は、設定の名前まで落とした本が出ていました。Gemini CLI は、どれも偶然の範囲でした。
日が違えば、どの道具も多少は変わります。Claude の費用の6%も、その「日による違い」なのか、モデル側の変化なのかは、この2日だけでは分けられません。
第三者の追跡
LiveNerf は、Max プランで版を固定した Claude Code（2.1.280）に、難しい問題78問を毎日解かせて、Opus 5.5 の正答率を追っています。11/10 時点の結論は「変化なし」です。
ただ、判定が済んでいるのは 11/2 までの区間です。11/3〜11/12 の区間は、まだ集計の途中です。見分けられるのは、10日あたり約7ポイント以上の変化です。
自分で確かめるには
「弱くなった」と感じたら、同じ依頼を同じ版で流して、数字を残しておくのがいちばん確かです。claude -p に --output-format json を付けると、結果にトークン数と推定費用が入ります。
claude -p "（いつも頼んでいる依頼）" --output-format json > "run-$(date +%Y%m%d-%H%M).json"
見るのは、total_cost_usd と、modelUsage の中の outputTokens・thinkingTokens・cacheCreationInputTokens・cacheReadInputTokens です。今回の 11/2 のように、トークン数を残し忘れると後で比べられません。
比べるときは、次の3つをそろえます。
- Claude Code の版（
DISABLE_UPDATES=1で、自動更新を含むすべての更新を止める） - 依頼の文と、渡すファイル
- 時間帯（混み具合で速さが変わる）
言えないこと
- 試したのは、PR の説明と README を書く仕事だけです。コードの正しさや長い作業で弱くなったかは分かりません
- 各条件12回、2日だけの比較です
- 推定費用が6%増えた原因は分かりません。版が同じでも、サーバーから取る設定で動きが変わる余地があります
- 考え方（②）は前後で比べていません
まとめ
11/2 と同じ依頼を、同じ Claude Code 2.1.316 で同じ時間帯にやり直すと、Opus 5.5 の書く文章の質は変わっていませんでした。要点の抜けも、ルールの守り方も、書きぶりのばらつきも同じです。
一方で、推定費用は6%増えていました。ただ、6%は「簡単な直しだけで上限に届く」ほどの差ではありません。対照の Codex も遅くなっていて、日による違いと分けるには、もっと長く測る必要があります。私は今日の数字を基準に、同じ依頼を続けて流してみます。
関連記事
- AI に書かせた PR の説明や README は「AI っぽい」のか？ 3つのツールの108本を Wikipedia の見分け方で数えた — 今回やり直した、11/2 の測定
- Claude Code を新しい Fable 5.2 に切り替えると速く安くなるのか。36回測ったら、Fable 5.1 より2割速く3割安く、費用は Opus 5.5 の1.6倍だった — 同じ週に出た Fable 5.2 を、Opus 5.5 と比べた記事
- Claude Opus 5.5 の「40%安い」は、キャッシュの当たり方で24%にも59%にもなった — Opus 5.5 の公開直後に測った費用
JQITのエンジニアの95%以上は未経験からの採用です。
よければコーポレートサイトにも遊びに来てください。
エンジニア採用も行っています。もしご興味あれば覗いてみてください。
▶ 採用サイト