はじめに

10月28日にGoogleがGemini 4 Carbonを発表し、Artificial Analysis Intelligence Index v5.0で1位（59）になりました。ただし現時点ではサイバー防御側の組織と一部パートナー向けの限定提供で、一般の開発者はAPIを呼べません。

触れないモデルなので性能検証はできませんが、公開された比較表は「1位」という見出しの読み方を整理するのにちょうどいい材料だったので、自分が普段モデル選定で確認していることをメモしておきます。

1. 総合スコアの差を見る

1〜2点差は、テストの構成を少し変えれば入れ替わる範囲です。「同じ階層にいる」くらいに読むのが無難だと思います。

Google自身の比較表でも、次の項目では他モデルが上です。

ベンチマーク	内容	結果
OSWorld-2.1	PC操作	Opus 5.5: 87.2% / Carbon: 81.5%
FrontierSWE 2	エージェント型コーディング	GPT-6 Astra: 65.5% / Carbon: 61.2%

PC操作エージェントやコーディングエージェントを作っているなら、「総合1位」はそのまま自分のユースケースの1位にはなりません。

Carbonが大きく抜けているのはセキュリティ系です。

発表では「ガードレールなしで測定」と明記されています。攻撃にも転用できる能力が突出しているので、限定公開になっている理由はこの数字でほぼ説明がつきます。

料金（入力100万トークンあたり2ドル、出力10ドル）はすでに公開されていますが、開発者向けの提供日は未定です。呼べないモデルは、どれだけ順位が高くても選定の候補には入りません。

Carbonは公開されたら、手元の小さな評価セット（リファクタ数件、ログ解析、長文要約）で他モデルと並べて試す予定です。