はじめに
GPT-6 Astra が公開され、ARC-AGI-3 の 99.9% という数字に驚きました。発表ページに載っている GPT-5.6 Sol のスコアは 7.8%。かなり大きな差です。
※執筆中に GPT-6.1 Sol が公開されました。ARC Prize の検証結果 では、GPT-6.1 Sol の最高値は Standard ハーネスで 52.73%（max）、Provider Adapter ハーネスで 96.37%（xhigh）です。ハーネスについては後で説明します。
何かすごいことはわかるのですが、何を測っているのかはきちんと理解できていませんでした。そこで、OpenAI の GPT-6 Astra 発表ページ に登場するベンチマークをいくつか取り上げ、課題と採点方法をまとめます。
スコアは発表表（2026 年 9 月 14 日確認）と各ベンチマークの運営元が公開している値となります。
ベンチマークの読み方
ベンチマークは、決められた課題と採点方法で性能を評価するものです。AI では、問題への回答、パソコンの操作、成果物の作成などを評価します。
100 問中 80 問に正解すれば正解率は 80% ですが、途中までの作業にも点を付ける評価なら、80% は 100 件中 80 件を完了したという意味にはなりません。
数字を見るときは、次の点を確認します。
- 課題の内容と採点方法。正解率、部分点、失敗率などのどれか。
- ツール、試行回数、制限時間、問題セットやバージョンの条件。
スコアはその課題と条件での成績です。異なる評価同士の点数や、普段の仕事の成功率とは分けて読みます。それでは、最初に気になった ARC-AGI-3 から見てみます。
ARC-AGI-3
何をするのか
ARC-AGI-3 は、未知のゲームを操作しながらルールや目標を見つける評価です。説明書のないパズルゲームで、ボタンを押した結果から遊び方を調べるイメージです。
操作し、変化を確かめ、次の行動を決める。この繰り返しで問題を解きます。ここでの学習は、プレイ中の経験を次の判断に生かすことで、モデルの重みを更新する追加学習とは異なります。
99.9% の意味
クリアできたかと、人間の基準に比べて何回の操作が必要だったかを、RHAE（Relative Human Action Efficiency）という指標で評価します。
公式の採点方法 では、クリアしたレベルの基本スコアを次の式で計算します。
$$
level_score = \left(\frac{\text{human baseline actions}}{\text{AI actions}}\right)^2
$$
人間の基準を 10 回として、AI の操作回数を変えてみます。
| 人間の基準 | AI の操作回数 | そのレベルの基本スコア |
|---|---|---|
| 10 回 | 10 回 | 100% |
| 10 回 | 20 回 | 25% |
| 10 回 | 100 回 | 1% |
どれもクリアしていますが、人間の 2 倍の操作なら 25% です。クリアまでの操作が多いほどスコアは下がります。
人間の基準は、そのレベルをクリアした初見の参加者の操作回数の中央値です。偶数人なら、中央の 2 人のうち操作回数が多い方を使います。AI 内部の推論やツール呼び出しなど、環境を変えない処理は操作に数えません。そのため、API 料金や所要時間を測る指標でもありません。
人間より少ない操作でクリアしても、1 レベルのスコアは 115% が上限です。ゲームのスコアはレベルごとの重み付き平均で、後半のレベルほど重く配点されます。全レベルをクリアしないと、ゲームのスコアは 100% に届きません。ゲームごとのスコアを平均した最終値は 0〜100% になります。
ARC Prize の説明では、100% は全ゲームの全レベルをクリアし、人間の基準に匹敵するか、それを上回る行動効率を達成した水準です。基準は中央値なので、人間全員が 100% を取れるわけではありません。発表ページでは、人間のテスターの平均は 48% とされています。
99.9% は単純な正解率ではありません。未知のゲームを、人間の基準と同等以上の効率で解いたことを表す成績です。
GPT-5.6 Sol との比較条件
ARC-AGI-3 のスコアは、ハーネスによって大きく変わります。ハーネスは、モデルに画面や履歴を渡し、選ばれた操作を実行する周辺プログラムです。ARC Prize は 2 種類のハーネスで結果を公開しています。
| ハーネス | ゲーム中に引き継ぐもの |
|---|---|
| Standard | モデルが残すと決めたメモだけ。過去の推論やメッセージは捨てる |
| Provider Adapter | リクエストをまたいだ推論の状態。長い会話は要約（compaction）して扱う |
OpenAI は発表ページで、Provider Adapter に当たる自社のハーネスを「responses API harness」と呼んでいます。元のハーネスより実際の利用に近い条件だ、というのが OpenAI の説明です。
ARC Prize の検証結果（Semi-Private セット、各ハーネスの最高値）は次のとおりです。
| モデル | Standard | Provider Adapter |
|---|---|---|
| GPT-6 Astra | 62.7%（max） | 99.9%（high） |
| GPT-5.6 Sol | 7.8%（max） | 公開なし |
発表ページで比べているのは、Sol の 7.8%（Standard）と Astra の 99.9%（Provider Adapter）です。モデルとハーネスの両方が異なる比較です。
表の値は各ハーネスでの最高値で、Astra の Standard は max、Provider Adapter は high と推論設定が異なります。そのため、表の 62.7% と 99.9% の差は、ハーネスだけの効果ではありません。
推論設定をそろえて比べます。同じ Standard ハーネスの max では、Sol が 7.8%、Astra が 62.7% です。これがモデルの違いによる差です。同じ Astra でハーネスだけを変えると、max では 62.7% から 98.6%、high では 54.8% から 99.9% に上がります。ARC Prize が公開しているほかの推論設定でも、Provider Adapter のほうが 35pt 以上高くなっています。99.9% には、ハーネスの効果も大きく含まれています。
なお、OpenAI は、Sol をこのハーネスで動かせばおおむね 30% になると推定しています。実測値ではありません。
コーディングとターミナル操作
ここからは、発表ページに載っているベンチマークをいくつか取り上げ、概要をまとめます。まずは開発作業に近い、コーディングとターミナル操作の評価です。
| ベンチマーク | 何をする課題か | Astra | Sol |
|---|---|---|---|
| Terminal-Bench 4.0 | ターミナルでソフトウェア開発、システム管理、データ処理などの課題を解く | 57.9% | 37.3% |
| FrontierCode 1.1 Extended | 実際の OSS リポジトリに、メンテナーがマージできる品質の変更を加える（全 150 タスク） | 64.5% | 60.6% |
| FrontierCode 1.1 Main | Extended のうち難しい 100 タスク | 53.3% | 47.5% |
Terminal-Bench 4.0
Terminal-Bench は、モデルがターミナルでコマンドを実行して課題を解く評価です。ソフトウェア開発、システム管理、データ処理、モデルの学習、セキュリティの課題が含まれます。
課題ごとに検証用のテストがあり、すべてのテストを通過した場合だけ成功 です。57.9% は、成功した課題の割合（解決率）です。
FrontierCode
FrontierCode は Cognition のベンチマークで、作った変更をメンテナーがマージするかどうかを評価します。課題は OSS のメンテナー自身が作成しており、テストの通過に加え、テストの質、変更範囲、スタイル、リポジトリの規約に合うかも採点されます。
採点基準には、満たさないとマージできない必須基準（blocker）があります。発表値は score という指標で、採点基準ごとの重み付き合計です。必須基準を満たさないと、その回のスコアに上限がかかります。
Main は、全 150 タスクの Extended から難しい 100 タスクを選んだ区分です。Main のほうが Extended より点数が低いのはこのためです。
なお、OpenAI の GPT-6 Astra 発表ページ で、Astra の値には脚注があります。Codex の開発者メッセージに似た、関連するリポジトリの指示や周辺のコード、テストを確認し、慣例に従ってマージ可能なコードを書くよう促す開発者メッセージを使って実行したとのことです。脚注では、このプロンプトは評価向けに最適化されていないと説明されています。
画面操作とアプリを使う仕事
| ベンチマーク | 何をする課題か | Astra | Sol |
|---|---|---|---|
| ScreenSpot-Pro | 画面上で指示されたボタンなどの位置を特定する | 92.7% | 76.9% |
| OSWorld 2.0（offline set、partial score） | 複数のアプリを使う長い作業に取り組む | 72.6% | 65.7% |
ScreenSpot-Pro
ScreenSpot-Pro は、CAD や画像編集ソフト、IDE など専門ソフトの高解像度の画面で、指示されたボタンなどの位置を当てる評価です。
OSWorld 2.0
OSWorld 2.0 は、複数のアプリを使う長い作業を評価します。公式の例には、メールの領収書や銀行の明細を照合して経費精算を申請する課題があります。作業中に届いた新しいメールに合わせて計画を見直したり、情報が食い違えばユーザーに確認したりする必要があります。
発表値は v2026.08.08 のうち、インターネット接続なしで実行できる 82 タスク（offline set）の成績です。72.6% は部分点を含む partial score で、全工程を完了した割合ではありません。
総合指数
Artificial Analysis Intelligence Index (Artificial Analysis 応答性能指数)
Artificial Analysis Intelligence Index は、推論や知識、コーディングなどの成績を重み付きでまとめます。発表表の v4.1.1 では Astra が 61.2、Sol が 60.9 で、正解率や IQ とは異なります。
構成や重みはバージョンで変わり、2026 年 9 月の調査時点で説明ページは v4.3 系でした。発表値と最新値は分けて読みます。
Astra がすべての項目で最高というわけでもありません。発表表では Claude Fable 5.1 がこの指数で 65.7 と、Astra を上回っています。
小さな得点差には試行によるばらつきもあるため、順位だけでなく誤差や条件も確認します。
おわりに
ARC-AGI-3 の 99.9% は、人間を基準にした操作効率を含む成績でした。Sol の 7.8% との比較には、ハーネスの違いもあります。
任せたい作業に近い評価から読み、採点方法と実行条件を確認すると良さそうです。
お読みいただきありがとうございました！