0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

GPT-6 Astra の推論強度、max は同じ回答の low より 2.3x 高い

0
Last updated at Posted at 2026-09-07

この記事は Synthorai ブログの記事 GPT-6 Astra の推論強度、max は同じ回答の low より 2.3x 高い の転載です。原文(多言語対応)はリンク先をご覧ください。

GPT-6 Astra の推論強度、max は同じ回答の low より 2.3x 高い

GPT-6 Astra では、reasoning_effort: "max" のコストは low の 2.3x だが、検証済みの 11 タスクすべてで回答は同じだった。精度が変わったのは none だけで、33 回中 17 回失敗した(11 タスクを各 3 回実行)。reasoning_effort は、回答前にモデルが内部で行う推論の量を指定するリクエストパラメータだ。この推論は reasoning token として output 単価で課金される。本記事では、none から max までの各段階を計測した。ただし、この段階はドキュメントの記載と一致しない。API の入力チェックは 7 つの値を案内するが、そのうち minimal は全モデルで拒否される。一方、案内にない disabled は Astra で受け付けられるが、推論は無効にならない。OpenAI のローンチ時ベンチマークにある「各 effort での最大値」を読む際には、この点が重要だ。リーダーボードの数値は、最も高コストな段階で出したスコアになる。

TL;DR

  • GPT-6 Astra は nonedisabled を含む 7 種類の reasoning_effort を受け付ける。ドキュメントには 5 種類しかなく、none は非対応と書かれている。
  • reasoning token がゼロになるのは none だけで、検証済みタスクでは 33 回中 17 回失敗した。それ以外はすべて 33 回中 33 回正解した。
  • disabledlow の 151 reasoning token に対して 243 token を消費し、精度は同じなのに正答あたりのコストが 54% 高い。
  • 定価で計算すると、両モデルが正解できるタスクでの正答あたりのコストは、GPT-6 Astra が low で GPT-5.6 Sol の 1.57x、max で 2.57x になる。

GPT-6 Astra のベンチマーク上の位置付け

ツールをループ内で操作する agent 型タスクでは上位だ。特に terminal を使う処理で強い。一方、Humanity's Last Exam と、10 種類の評価を集約した独立指標である Artificial Analysis Intelligence Index では Claude Fable 5.1 に及ばない。各スコアには、その評価で最高得点を出した effort が使われている。以下は OpenAI のローンチページに掲載された表で、比較対象の列も OpenAI が選んだものだ。

ベンチマーク 評価内容 GPT-6 Astra GPT-5.6 Sol Claude Fable 5.1 Claude Opus 5
Terminal-Bench 4.0 terminal 内の agent タスク 57.9% 37.3% 55.8% 52.6%
Terminal-Bench Science 0.1 コードを使う研究ワークフロー 64.6% 22.4% 52.6% 30.0%
FrontierMath Tier 4 (v2) 研究レベルの数学 97.6% 83.0% 87.8% 73.2%
ARC-AGI-3 未知のパズル環境の解決 99.9% 7.8% 記載なし 30.2%
Humanity's Last Exam、ツールあり 各分野の専門家が作成した問題 57.2% 記載なし 65.0% 63.6%
Artificial Analysis Intelligence Index v4.1.1 10 種類の評価の集約 61.2 60.9 65.7 63.1

好成績とあわせて確認しておきたい点が 3 つある。

  • Astra が Fable 5.1 に 7.8 ポイント負けている Humanity's Last Exam の結果は表にだけ掲載され、本文では触れられていない。
  • OpenAI 自身の表でも、Artificial Analysis の Astra は Claude Fable 5.1、Claude Opus 5、Claude Fable 5 より下だ。現在の v4.2 リーダーボードでは Fable 5.1 が 57 で 1 位、Astra が 55 で 3 位になっている。
  • OpenAI によると、サイバーセキュリティのスコアは「本番用の安全対策なし」で計測された。提供中のモデルは、概念実証用 exploit のタスクを「拒否する」としている。

表の下にある一文が、ベンチマークと実際の請求額を結び付ける。「評価スコアには、各 effort での最大値を使用している」。Artificial Analysis のリーダーボードには、モデルごとに各 effort の結果が個別掲載されている。Astra は xhigh の 54 に対して max で 55 を記録した。以降では、この結果を出した段階のコストを検証する。

GPT-6 Astra が受け付ける reasoning_effort

受け付ける値は 7 種類だが、API が案内する集合とは一致しない。案内される値の 1 つは全モデルで拒否され、逆に案内されない値が 1 つ受け付けられる。モデルページには lowmediumhighxhighmax が記載され、none の reasoning effort には「対応していない」と説明されている。API はドキュメントと 2 か所で食い違い、API 内部でも 1 か所矛盾している。

不正な値を送ると、モデル処理の前にリクエスト形式を検証する最初のチェックが実行される。GPT-6 AstraGPT-5.6 Sol のどちらでも、同じ許容値の一覧が返る。

Invalid value: '__invalid__'. Supported values are: 'none', 'minimal', 'low', 'medium', 'high', 'xhigh', and 'max'.

次に各値を送ると、モデル固有の 2 段階目のチェックで、最初に案内された値の一部が拒否される。200 はリクエスト成功、400 は拒否を表す。

案内された一覧に含まれるか GPT-6 Astra GPT-5.6 Sol
none はい 200 200
minimal はい 400、「'gpt-6-astra-2026-09-03' model では非対応」 400、同じ
disabled いいえ 200 400
low から max はい 200 200

つまり、ドキュメントでは非対応とされる none が動作する。minimal は許容値として案内されるが、すべてのモデルで拒否される。disabled はどの一覧にもないが、Astra だけが受け付ける。エラーメッセージからは、gpt-6-astra alias が現在指している日付付き build も分かる。gpt-6-astra-2026-09-03 だ。

none と disabled で推論は止まるのか

推論が止まるのは none だけだ。disabled は名前に反して、通常の推論段階として動く。まず手元のマシンで全探索し、正解を確定できる 11 タスクを用意した。内容は、同じ規則を 40 回連続で適用する問題、3 つの制約下での数え上げ、ナップサック問題、基数変換、7 の 222 乗を 1000 で割った余り、短い問題 6 問だ。全 7 種類の effort で各タスクを 3 回ずつ、OpenAI Chat Completions API 互換の endpoint 経由で実行した。disabled を拒否する Sol では 6 種類を使った。難度が最も高い 5 タスクについて、GPT-6 Astra の結果は次のとおりだ。

effort 正答率 reasoning token 平均 1 call あたりのコスト 正答あたりのコスト
none 20%(15 回中 3 回) 0 $0.00086 $0.0043
disabled 100% 243 $0.01311 $0.0131
low 100% 151 $0.00851 $0.0085
medium 100% 159 $0.00890 $0.0089
high 100% 203 $0.01110 $0.0111
xhigh 100% 279 $0.01491 $0.0149
max 100% 370 $0.01946 $0.0195

正答あたりのコストは、タスクと effort の各組み合わせにかかった費用を正解回数で割ったものだ。正答率 20% の設定では、正解を 1 つ得るために 5 回分の料金がかかる。性能差は 1 段階の境目に集中している。low 以上は、両モデルとも全 11 タスクで 33 回中 33 回正解した。none は Astra で 33 回中 16 回、Sol で 33 回中 21 回しか正解しなかった。写像を反復するタスクでは、Astra が 3 回の実行でそれぞれ異なる誤答を返した。段階的に精度が落ちるわけではない。推論が有効なら正解し、無効なら推測になる。

注意すべきなのは disabled だ。lowmediumhigh より多くの reasoning token を使い、精度が同じ 100% にもかかわらず、正答あたりのコストは low より 54% 高い。off を意味する名前なのに、正答あたりのコストが高いのは xhighmax だけだ。

5 つの複数 step タスクで、7 種類の reasoning_effort ごとに GPT-6 Astra が 1 call あたり消費した reasoning token の棒グラフ。none は 0 token で正答率 20%。disabled は 243 token で、low より 54% 高い罠として表示。low は下限として 151 token。medium は 159、high は 203、xhigh は 279、max は 370 で、回答が同じまま low の 2.3x。low 以上はすべて正答率 100%

max にすると low より何が得られるのか

今回のタスクでは何も得られず、コストだけが 2.3x になった。1 call あたり max は $0.01946、low は $0.00851 で、どちらも正答率は 100% だった。reasoning token は low の 151 から max の 370 まで増え、すべて 100 万 output token あたり $50 で課金される。

この数値をベンチマーク表と照らし合わせる必要がある。「各 effort での最大値」を掲載するということは、各スコアに最も高い結果を出した段階が使われる。独立リーダーボードでの Astra の最高値は max で、xhigh より 1 ポイント高い。今回の計測では、その段階のコストは 1 つ下より 1.3x 高かった。ローンチ時のベンチマークに近い workload なら、effort を上げるコストに見合う可能性がある。今回の workload に近いなら見合わない。まず自分のタスクを low で計測すれば判断できる。

GPT-6 Astra の回答単価は GPT-5.6 Sol の 2.5x か

low では違う。1.57x だ。max では 2.57x になる。定価は vendor 自身のページに掲載された token 単価を使った。Astra は 100 万 token あたり input が $10、output が $50、Sol は $4 と $20 だ。いずれも 2026-09-07 時点の OpenAI モデルページにある AstraSol の価格で、input と output のどちらも定価差は 2.5x になる。[GPT-5.6 Sol と GPT-6 Astra の比較ページ](https://synthorai.io/compare/models/gpt-5-6-sol-vs-gpt-6-astra/)では、catalog の最新価格を確認できる。以下は全 11 タスクの token 数と定価から計算した正答あたりのコストだ。両モデルとも low 以上で 33 回中 33 回正解している。

effort GPT-6 Astra の正答あたり GPT-5.6 Sol の正答あたり 比率
low $0.00560 $0.00356 1.57x
medium $0.00618 $0.00373 1.66x
high $0.00741 $0.00400 1.85x
xhigh $0.01005 $0.00443 2.27x
max $0.01349 $0.00525 2.57x

低い段階では、Astra のほうが同じ回答に到達するまでの reasoning token が少ない。全 11 タスクの low では、1 call あたり Astra が 91、Sol が 158 だった。この差によって価格差が縮まる。一方、段階を上げると Astra の reasoning token の増加が速い。max では Astra が 249、Sol が 242 になり、正答あたりの差は定価と同じ水準まで広がる。

この結果が示す範囲は限定的だ。両モデルとも low 以上で正答率 100% のため、このタスク集合では能力差を評価できない。分かるのは、両方が正解できる回答の価格が、1 つのパラメータによって 1.6x から 2.6x まで変わることだけだ。OpenAI のローンチページでは、agent 型タスクについて逆方向の結果が報告されている。Terminal-Bench 4.0 の推定 API コストは、Sol より「約 9%」、Fable 5.1 より「63%」低い。token 単価が高くても、少ない token で多くのタスクを解ければ全体コストは下がる。workload が違えば結果も変わるが、どちらでも請求額を左右するのは effort 設定だ。

JSON schema や tool call で推論コストは増えるのか

low ではほとんど増えないが、medium では増える。1 step のタスクとして、08:15 に 2 時間 37 分を加える問題を 3 通りで送った。通常の bare 形式、厳密な response_format JSON schema 内、強制 tool call だ。JSON schema では、指定した形に一致する JSON を返す必要がある。強制 tool call では tool_choice を 1 つの関数に固定し、モデルが必ずその関数を呼び出して回答する。4 種類の effort で各 3 回実行した。GPT-6 Astra の reasoning token 平均、その token が課金対象の全 output token に占める割合、1 call あたりのコストは次のとおりだ。

形式 none low medium high
bare 0、$0.00085 0、$0.00084 18(output の 67%)、$0.00185 24(73%)、$0.00217
JSON schema 0、$0.00141 4(23%)、$0.00165 21(57%)、$0.00257 26(62%)、$0.00282
強制 tool call 0、$0.00196 0、$0.00197 5(18%)、$0.00223 20(47%)、$0.00307

単純な 1 タスクを bare、JSON schema、強制 tool call の 3 形式で送り、none、low、medium、high の各 effort で GPT-6 Astra が消費した reasoning token のグループ棒グラフ。none と low は、low の schema で 4 token を使った例を除いて全形式で 0 token。medium と high では 18 から 26 token に増え、reasoning が output token の 57% から 73% に達する

low は必要に応じてゼロまで下がる。step のないタスクでは reasoning token を使わず、コストも none と同じだ。一方、前述の複数 step タスクでは 1 タスクあたり 16 から 345 token を使い、none が崩れた問題でも正解した。したがって low が実用上の下限になる。外側の形式そのものがコスト要因ではない。low の schema や tool call で増えた reasoning token は 0 から 4 だけだ。ところが medium では、推論が不要なタスクでも、bare と schema で reasoning が output token の 57% から 67%、tool call で 18% を占めた。同じ抽出処理でも、schema 内では mediumlow の 1.6x、bare では 2.2x のコストになる。7 月の GPT-5.6 コストガイドでも、この model family で同じ要因を確認している。Sol の変化は小さい。bare と schema では全 effort で reasoning が 0 で、強制 tool call では medium 以上で 14 から 18 token だった。

課金された推論内容は読めるのか

OpenAI が提供する 2 つの API surface のうち、一方では読める。従来の Chat Completions endpoint と新しい Responses endpoint は同じモデルを受け付け、課金方式も同じだ。同じ質問を medium で各 surface に 3 回送った結果は次のとおりだ。

Surface 課金された reasoning token 返された推論テキスト
/v1/chat/completions 76、75、120 なし。message に含まれるのは rolecontent だけ
/v1/responsesreasoning.summary: "auto" 62、62、116 277 から 352 文字の要約を持つ reasoning item

token 数の差はばらつきの範囲内だ。課金は同じで、違いは支払った推論の内容を確認できるかどうかだけになる。100 万 output token あたり $50 では、endpoint の選択がこの可視性を決める。ドキュメントでは tool calling も Responses に誘導されている。「GPT-6 Astra は Chat Completions に対応するが、tool calling には Responses が必要」とあるため、tool を使う workload では必然的に推論を読める surface を使うことになる。

GPT-5.6 から引き継がれる仕様

契約の大部分は同じだ。計測結果は次のとおり。

  • Tokenizer。 同じ 900 語のテキストは、GPT-6 AstraGPT-5.6 SolGPT-5.6 LunaGPT-5.5GPT-5.4GPT-5.2 のすべてで 1,017 prompt token になった。5.x で計測した prompt サイズは Astra でも変わらず、数え直す必要はない。
  • パラメータ。 temperature は Astra と Sol のどちらでも 400 を返す(「この model では非対応」)。top_plogprobs も同様だ。厳密な JSON schema を指定した response_format は、両モデルで schema に適合する output を返す。16 未満の max_tokens は両方で拒否される。
  • Sol の max 7 月には、Chat Completions 経由で GPT-5.6 Sol に reasoning_effort: "max" を指定すると 400 が返った。現在は受け付けられ、Sol はこの設定で 33 回中 33 回正解した。

以下はドキュメントの記載で、今回は計測していない。context window は 1,050,000 token で、最大 input は 922,000、最大 output は 128,000 だ。input が 272K token を超える prompt では input と cache の単価が 2x になる。これは GPT-5.6 family と同じ閾値で、複数 vendor を対象に計測した仕組みとも同じだ。cache read は 100 万 token あたり $1、cache write は $12.50 と記載されている。prompt_cache_retention は、新しい prompt_cache_options.ttl: "30m" パラメータに置き換わる。OpenAI が最大 2x 高速になるとしている有料オプションの Fast mode は、標準価格の 2x だ。

Synthorai での扱い

gateway は、ドキュメントにない値も含めて reasoning_effort を変更せずに渡す。リクエストごとの usage record には、completion_tokens や課金額とは別の field として reasoning_tokens が保存される。上記の表はすべて、この記録から作成した。各リクエストで指定した effort、消費した reasoning、実際のコストを、月次合計から逆算せずにリクエスト単位で確認できる。

よくある質問

GPT-6 Astra は reasoning_effort の none に対応しているか。

対応している。ドキュメントでは非対応とされているが、API は GPT-6 AstraGPT-5.6 Sol の両方で受け付ける。reasoning token がゼロになる唯一の値でもある。ただし、検証済みタスクでは 33 回中 17 回失敗した。検索や変換には使えるが、複数 step を必要とする処理には向かない。

GPT-6 Astra の reasoning_effort disabled は何をするのか。

通常どおり推論する。disabledGPT-6 Astra では受け付けられ、GPT-5.6 Sol では拒否される。ドキュメントや API の案内一覧には載っていない。難度の高いタスク集合では、low の 151 に対して 1 call あたり 243 reasoning token を使い、精度は同じだった。off switch ではなく、中間段階の高コストな alias と考えるべきだ。

GPT-6 Astra の reasoning_effort は何を default にすべきか。

low。単純な 1 step タスクでは reasoning token を使わず、複数 step タスクでは 1 タスクあたり 16 から 345 token を使った。GPT-6 Astranone で 33 回中 16 回しか正解しなかったが、low では 33 回中 33 回正解した。max は回答が同じまま 2.3x のコストになった。自分のタスクで eval を実行し、上位段階で結果が改善すると確認できた call site だけ設定を上げるべきだ。各 call で明示的に指定し、usage block から reasoning token 数を取得する。

resp = client.chat.completions.create(
    model="gpt-6-astra",
    reasoning_effort="low",
    messages=[{"role": "user", "content": prompt}],
)
print(resp.usage.completion_tokens_details.reasoning_tokens)

2026-09-07 に OpenAI 互換の Chat Completions surface で計測し、可視性の比較には Responses endpoint も使用した。手元で全探索して正解を確定した 11 タスク、7 種類の effort、両モデルで各 cell を 3 回実行した。各 prompt には固有の suffix を付け、cache から回答が返らないようにした。コストにはリクエスト単位の usage accounting を使用した。ベンチマーク値は OpenAI のローンチ時の表と Artificial Analysis のリーダーボードから取得し、取得日はいずれも同日だ。GPT-5.6 Sol と比較した正答あたりのコストは、各モデルのドキュメントに記載された定価と token 数から計算した。

関連記事:13 モデルの推論制御GPT-5.6 コストガイドClaude Opus 5 のコスト長文 context の価格階層prompt cache write のコスト

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?