0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

GPT-6.1 Terra vs Claude Sonnet 5.5:画面操作エージェントの1ステップ単価と、JSONがそのまま通るか

0
Last updated at Posted at 2026-10-28

この記事は AIHubMix が作成しました。情報は2026年10月27日時点のものです。数字は出どころごとに分けて書いています。OpenAI のチャートは自己申告で、Kingy による転記を経て読んだものです。Anthropic の数字も自己申告です。Artificial Analysis は独立した第三者ですが、1つのハーネス・1つの effort 設定での結果です。別々の実行で出たスコアどうしは引き算しないでください。

TL;DR

  • 形式の遵守で差が開きます。 Kingy が10月26日に行ったパイロット(6つの短いタスクを各2回、medium、ツールなし)では、客観的な正答は両モデルとも10/10でした。指定どおりの形式で返せたのは Terra が10/10、Claude Sonnet 5.5 が4/10です。
  • その12回分のコストは Terra が $0.0203、Sonnet 5.5 が $0.0499。 Terra は Sonnet の約41%です。
  • レイテンシは Sonnet が上です。 リクエスト時間の中央値は Terra 3.84秒、Sonnet 2.83秒でした。Terra の利点はタスクあたりの時間にありますが、それは出力トークンが少ないことによるもので、モデル自体が速いわけではありません。
  • 能力は Sonnet が上です。 この記事で扱う画面操作・エージェント系のベンチマークは、OpenAI 自身のチャートも含めてすべて Sonnet 5.5 が上回ります。Artificial Analysis では Intelligence Index が56対48、AutomationBench-AA が72%対60%、Terminal-Bench 4.0 が64%対56%です。
  • 同じ実行のタスク単価は $5.46 対 $0.40。 出力トークンはタスクあたり197k対35k、所要時間は901秒対384秒でした。
  • 判断軸は「どちらが賢いか」ではありません。 検証できるステップを大量に回すなら Terra、誰も各操作を見ていない長時間の実行とコーディングなら Sonnet 5.5 です。AIHubMix ではどちらもベンダーの定価で提供しており、切り替えはモデル ID の変更だけです。

1ステップを定価で計算する

Terra は2026年10月26日、Sonnet 5.5 はその4週間前の9月28日に出ました。Terra は入力100万トークンあたり $1.00、出力 $5.00、Sonnet 5.5 は $2.00 と $10.00 です。トークン単価の話はこれで終わりなので、実際に知りたいのは「1ステップいくらか」のほうです。

キャッシュに当たる2,500トークンの固定プレフィックス、ページやスクリーンショットの内容として1,500トークンの新しい入力、そして1,500トークンの出力を返すステップを、1万回繰り返すとします。

1万ステップ GPT-6.1 Terra Claude Sonnet 5.5
キャッシュ入力(25M トークン) $1.25 $2.50
新規入力(15M トークン) $15.00 $30.00
出力(15M トークン) $75.00 $150.00
合計 $91.25 $182.50

キャッシュの書き込みは含めていません。含めると、下の単価表の率で両方に少しずつ加算されます。トークン数を同じにすると、すべての率が2倍なので合計もちょうど2倍になります。

信用しないほうがいいのは「同じにした」という前提のほうです。Artificial Analysis の測定では、Sonnet は max effort で Terra の約5.6倍の出力トークンをタスクあたりに使っており、上の表でいちばん大きい行は出力です。実際のエージェント作業では2倍より広く開く可能性が高いので、予算に数字を入れる前に自分のトラフィックで比率を測ってください。

表の背景になる単価です。

GPT-6.1 Terra Claude Sonnet 5.5
入力 / 出力(100万トークンあたり) $1.00 / $5.00 $2.00 / $10.00
キャッシュ読み出し $0.05 $0.10
キャッシュ書き込み $1.25(30分)、$2.50(12時間) $2.50(5分)、$4.00(1時間)
コンテキスト長 1,050,000 1M
最大出力 128K 128K
デフォルトの effort medium high

両モデルともテキストと画像を入力できるので、同じパイプラインをどちらでも動かせます。Sonnet のデフォルト effort は Claude Platform のデフォルトです。Terra は入力が272Kトークンを超えると、そのリクエスト全体が入力2倍・出力1.5倍で課金されます。1ページや1枚のスクリーンショットでは届きませんが、複数ページの PDF を連結したスキャンなら届きます。同じコストモデルを使い回す前に、トークン数を確認してください。

第三者が測った数字

Artificial Analysis は両モデルを自社のハーネスで動かしています。Sonnet 5.5 の数字は、同社が “max effort with fallback” と表記している設定のものです。Terra は max effort です。ここに挙げるのは AA の数字だけで、下の章の数字とは混ぜていません。

Artificial Analysis Terra max Sonnet 5.5 max
Intelligence Index 48 56
AutomationBench-AA 60% 72%
Terminal-Bench 4.0 56% 64%
AA-LCR(長文コンテキスト) 83% 83%
GDP.pdf 29% 26%

同じ実行が、そのスコアに至るまでの消費も記録しています。

AA、max effort Terra Sonnet 5.5
指数タスク1件あたりのコスト $0.40 $5.46
タスク1件あたりの出力トークン 35k 197k
うち推論トークン 25k 147k
タスク1件あたりの時間 384秒 901秒

2つ目の表は、1つ目の表の値段として読んでください。Sonnet は出力トークンが5倍以上、しかもその1トークンが Terra の2倍の単価で、指数8ポイントを買っています。タスクあたり $5.46 対 $0.40 で、Terra のコストは Sonnet の10分の1未満、所要時間は AA が測ったタスクあたりの時間で約43%(384秒対901秒)です。ただし AA が測っているのは生成にかかった時間で、最初のトークンが返るまでの待ち時間は含みません。同じ実行でのストリーム速度は Sonnet が毎秒141出力トークン、Terra が91で、Sonnet のほうが速く流れます。Terra の時間上の利点は、モデルが速いからではなく、書き出すトークンが少ないことから来ています。AutomationBench-AA の差は12ポイント、AA の Terminal-Bench では8ポイントです。

パターンに逆らう行が2つあります。長文コンテキストの推論テスト AA-LCR は83%で並び、文書ベンチマークの GDP.pdf は Terra が29%対26%で上です。どちらも Terra のほうが強いモデルだということにはなりませんし、エージェント実行で Sonnet が開けているほどの差でもありません。

384秒と901秒には注意が必要です。これは AA の指数におけるタスク1件あたりの数字で、請求書1枚を読む時間ではありません。難しい問題に時間がどれくらいかかるかを示す数字で、抽出1ステップの所要時間ではありません。

ベンダー自身のチャート

OpenAI のリリース記事は Terra を Claude Opus 5.5 と比べており、Sonnet ではありません。下の Sonnet 列は、OpenAI が自社チャートに参考として引いた点を Kingy が転記したものです。自己申告で、独立に再現した人はまだいません。Sonnet 5.5 の値はチャートに示された max effort の結果、タスク単価は OpenAI の推計です。

OpenAI のチャート Terra medium Terra max Sonnet 5.5
OSWorld 2.1 offline 66.7% 74.2% 83.9%
Terminal-Bench 4.0 35.8% 50.3% 70.6%
Terminal-Bench タスク単価 – $1.84 $10.44

OSWorld 2.1 は、画面操作エージェントにいちばん近い公開テストです。OpenAI の offline セットでは、max effort の Terra に対して Sonnet が9.7ポイント上、デフォルトの medium の Terra は17.2ポイント下です。

Anthropic 自身のSonnet 5.5 のページは、同じベンチマークの別の実行として80.1%(“partial” の注記つき)と Terminal-Bench 4.0 の70.6%を報告しています。この記事には OSWorld 2.1 のスコアが4つ出てきます(66.7、74.2、83.9、80.1)。別の実行のスコアから引き算してはいけません。80.1% と83.9% は設定が違い、比べられませんし、どちらも別ベンダーの実行で出た Terra のスコアと並べるものでもありません。会計として残るのは方向だけです。両社の資料とも、Sonnet 5.5 がデスクトップとターミナルのエージェント作業に強いことを示しています。

出力がパーサーで落ちる

ここまでで実際の仕事にいちばん近いのは、Kingy のパイロットです。6つの短いタスクを各2回、medium、ツールなしで実行しています。1つは合成の請求書画像から項目を抽出するタスクで、残りは JSON、Python、SQL を指定どおりの形式で返すタスクです。

Kingy のパイロット、medium Terra Sonnet 5.5
客観的な正答 10/10 10/10
正答かつ指定どおりの形式 10/10 4/10
12回分のクレジット $0.0203 $0.0499
リクエスト時間の中央値 3.84秒 2.83秒

リクエスト時間にはネットワークとプロバイダ側の遅延が含まれます。

答えはどちらも分かっていました。違いは出し方です。Sonnet はあるタスクの2回とも JSON の前に計算過程の文を置き、Python と SQL の答えはプロンプトで禁じた Markdown のフェンスで囲みました。10回のうち6回の失敗が、内容ではなく形によるものです。

Kingy は、本番のパーサーや強制された structured output ならフェンスの一部は吸収できると注記しており、その修正は試していません。この留保は妥当で、優位の大きさは変えますが、向きは変えません。各ステップをコードで検証するループでは、促さなくても素の JSON を返すモデルは、書いて保守するはずだった修復レイヤーを1つ減らします。Terra は10回すべてでそれをやり、クレジットは Sonnet の約41%でした。

このパイロットが言っていないことも確認しておきます。リクエスト単位では Sonnet のほうが速く、Terra の速度上の利点は AA のタスク単位の数字にあります。

同じリクエストを両方に送る

Terra のツール(組み込みの computer ツールを含みます)は、OpenAI では Responses API の機能として文書化されています。AIHubMix が10月27日に行った確認では、computer ツールとスクリーンショットを含むリクエストに対して computer_call アクションが返りました。同じ確認で、reasoning effort が効いたのも Responses だけでした。AIHubMix のモデル一覧では、Sonnet 5.5 は Chat Completions、Responses、Anthropic Messages で提供されています。Terra のほうは、10月27日の AIHubMix の確認で3つすべてに応答しました。1つのループで両モデルを呼べます。リクエストの形は AIHubMix の Responses API のドキュメントにあります。

準備は3つだけです。

  • AIHubMix の API キーを環境変数 AIHUBMIX_API_KEY に入れます。
  • OpenAI の Python SDK を入れます(pip install openai)。
  • 両モデルとも同じ OpenAI 互換エンドポイント https://aihubmix.com/v1 で呼べるので、変えるのはモデル ID だけです。

以下のサンプルは、1つの抽出プロンプトを両モデルに送り、答えとトークン使用量を表示します。

extract_compare.py
import os
from openai import OpenAI

client = OpenAI(
    base_url="https://aihubmix.com/v1",
    api_key=os.environ["AIHUBMIX_API_KEY"],
)

prompt = (
    "Extract the invoice number, date and total from this text. "
    "Return only JSON with keys invoice_number, date, total.\n\n"
    "Invoice INV-2041, issued 2026-10-12. Amount due: $1,291.50."
)

for model in ["gpt-6.1-terra", "claude-sonnet-5-5"]:
    response = client.responses.create(model=model, input=prompt)
    print(f"--- {model}")
    print(response.output_text)
    print(response.usage)

自分の画面や文書のサンプルに対して実行し、返ってきた答えが何回パースできたかを数えてください。usage の行は残しておきます。出力トークンをステップ数で割れば、コスト表に持ち帰る比率になります。

ハマりどころ

Chat Completions で effort を指定しても反映されない

AIHubMix の10月27日の確認では、reasoning effort は Responses では効きましたが Chat Completions では効きませんでした。effort を調整するなら、実際に呼ぶエンドポイントで設定が効いているかを確認してください。

Batch の割引で見積もると足りなくなる

OpenAI の Batch API の割引は AIHubMix では適用されません。AIHubMix は Batch エンドポイントを提供していないためです。この記事の数字はすべて通常料金です。

長い文書で 272K の課金区分に入る

1回のリクエストで入力が272Kトークンを超えると、Terra はそのリクエスト全体が入力2倍・出力1.5倍で課金されます。1ページなら遠く及びませんが、複数ページを連結したスキャンなら届きます。

ベンダーをまたいでスコアを引き算する

Anthropic の80.1% と OpenAI のチャートの83.9% は、別々の OSWorld 2.1 の設定です。スコアは同じ実行の中だけで比べてください。

フェンスを剥がす処理を無料と考える

Markdown のフェンスを除去するパーサーは簡単に書けますが、パイロットでは試されていません。追加するなら、差が縮まったと決めつけずにパース率を測り直してください。

1つの事例で選ぶ

atomic.chat は8エージェントのチームに同じプロンプトで小さなゲームを作らせました。Terra は6分・$1.06で完成し、Sonnet 5.5 は1時間・$18.10かかり、atomic.chat は Sonnet のゲームを “far better”(はるかに良い)と評価しています。テストの設定は公開されておらず、1つの事例以上のものではありません。ただし、ベンチマークの表が示す傾向とは一致します。

まだ確認できていないこと

OpenAI のチャートは自己申告で、Kingy の転記を通して読んだ二次情報です。Anthropic の数字も自己申告です。AA は独立したテスターですが、1つのハーネス、1つの effort 設定の結果です。Kingy のパイロットは6タスク・12回、ツールなし、合成の請求書です。マウスとブラウザとリトライを伴う実際の画面操作エージェントは、また別のストレステストになります。この記事のどの数字も、あなたの文書を測ったものではありません。

どちらに振り分けるか

  • Terra: 検証器が合否を判定できる大量のステップ。請求書の項目、フォームの入力、既知の画面での次のクリックです。失敗したステップは安くやり直せて、形式はきれいに返り、ステップ単価は件数が増えても読みやすく推移します。
  • Sonnet 5.5: 各操作を誰も見ていない実行、完了率が仕事の成否を決める場面、そしてコーディングです。Terminal-Bench は OpenAI のチャートでも AA の実行でも Sonnet が上です。Terra の検証に繰り返し落ちるステップは、Sonnet に回してください。
  • 両方を動かすのに増えるコストは、リクエストごとのモデル ID 1つ分だけです。

仕様と単価を並べて確認するなら、Terra と Sonnet 5.5 の比較ページがあります。

まとめ

  • 正答率では両モデルに差がなく、差は出力の形に出ます。Kingy のパイロットでは指定どおりの形式が10/10 対 4/10、クレジットは $0.0203 対 $0.0499 でした。
  • 画面操作とエージェント系の能力は Sonnet 5.5 が上です。AA の指数は56対48、タスク単価は $5.46 対 $0.40、時間は901秒対384秒でした。
  • 定価でトークン数を同じにすると1万ステップは $91.25 対 $182.50 ですが、Sonnet は出力トークンが約5.6倍なので、実際の差は2倍より広い可能性があります。
  • 選ぶ基準は、パイプラインが安く吸収できる失敗の種類です。検証できるステップは Terra、誰も見ていない長時間の実行とコーディングは Sonnet 5.5 に置いてください。

まずは自分の画面や文書を100件ほど両方に通し、パースできた回数と usage のトークン数を比べてください。その数字が、夜間バッチをどちらで回すかを決めます。AIHubMix では GPT-6.1 Terra と Claude Sonnet 5.5 を同じキーで呼び出せます。

関連記事

参考

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?