はじめに
10月28日にGoogleがGemini 4 Carbonを発表し、Artificial Analysis Intelligence Index v5.0で1位（59）になりました。ただし現時点ではサイバー防御側の組織と一部パートナー向けの限定提供で、一般の開発者はAPIを呼べません。
触れないモデルなので性能検証はできませんが、公開された比較表は「1位」という見出しの読み方を整理するのにちょうどいい材料だったので、自分が普段モデル選定で確認していることをメモしておきます。
1. 総合スコアの差を見る
| モデル | Intelligence Index v5.0 |
|---|---|
| Gemini 4 Carbon | 59 |
| Claude Opus 5.5 | 58 |
| GPT-6 Astra | 57 |
1〜2点差は、テストの構成を少し変えれば入れ替わる範囲です。「同じ階層にいる」くらいに読むのが無難だと思います。
2. 1位が負けている項目を探す
Google自身の比較表でも、次の項目では他モデルが上です。
| ベンチマーク | 内容 | 結果 |
|---|---|---|
| OSWorld-2.1 | PC操作 | Opus 5.5: 87.2% / Carbon: 81.5% |
| FrontierSWE 2 | エージェント型コーディング | GPT-6 Astra: 65.5% / Carbon: 61.2% |
PC操作エージェントやコーディングエージェントを作っているなら、「総合1位」はそのまま自分のユースケースの1位にはなりません。
3. 突出している項目と、その理由を見る
Carbonが大きく抜けているのはセキュリティ系です。
- SEC-bench Pro（実在ソフトの脆弱性発見）：88.2%
- ExploitGym（脆弱性からエクスプロイト作成）：54.8%（GPT-6 Astra 42.4%、Opus 5.5 34.5%）
- CWE-bench（修正）：71.0%
発表では「ガードレールなしで測定」と明記されています。攻撃にも転用できる能力が突出しているので、限定公開になっている理由はこの数字でほぼ説明がつきます。
4. 実際に呼べるかを確認する
料金（入力100万トークンあたり2ドル、出力10ドル）はすでに公開されていますが、開発者向けの提供日は未定です。呼べないモデルは、どれだけ順位が高くても選定の候補には入りません。
まとめ
- 総合スコアの僅差は「同じ階層」と読む
- 自分のユースケースに近い項目で負けていないかを見る
- 突出した項目は、公開方針の理由になっていることが多い
- 選定対象は「今呼べるモデル」だけ
Carbonは公開されたら、手元の小さな評価セット（リファクタ数件、ログ解析、長文要約）で他モデルと並べて試す予定です。