0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Claude Sonnet 5.5 の性能を実測|5 モデル計 90 回で時間は Opus 5 の 0.35 倍、成功数は差なし

0
Posted at

Claude Sonnet 5.5 は「Sonnet 5 より速くて安い」と発表されています。当社で 5 つのモデル (Sonnet 5.5・Sonnet 5・Opus 5.5・Opus 5・Fable 5.1) の effort を high に揃えました。そのうえで小さな Node.js の課題 6 つを 3 回ずつ、合わせて 90 回解かせました。

先に要点です。

  • 成功数はどのモデルも 18/18 で、差は出ませんでした。
  • Opus 5 を基準にした中央値の比で、Sonnet 5.5 は時間 0.35 倍、費用 (API 定価換算) 0.28 倍でした。
  • 「Sonnet 5 より速く安い」という発表とは向きが一致しました。ただし、発表と同じ条件で測ったわけではありません。
  • 課題が易しかったので、難しい作業での実力差はこの実測では測れていません。

何をどんな条件で測った?

どのモデルにも同じ初期ファイルと同じ英語のプロンプトを渡し、モデルの ID だけを替えて解かせました。実行には Claude Code 2.1.285 と 2.1.283 の非対話モード (claude -p) を使い、2026年9月28日と2026年9月30日 (日本時間) に回しました。

課題は外部の依存を持たない小さな Node.js のプロジェクトです。括弧内は採点に使ったテストの件数 (元のテスト / 隠しテスト) です。

  1. 時間の文字列を秒に変える関数を仕様に合わせて直す (3 / 20)
  2. CSV の 1 行を 7 項目の仕様どおりに分ける関数を書く (2 / 21)
  3. カートの合計の計算から、重複した割引の処理を別モジュールへ切り出す (2 / 82)
  4. コマンドライン引数の解析にある不具合 4 件を直し、テストを足す (2 / 12)
  5. 在庫と注文の 2 つのモジュールにまたがる不具合を直す (3 / 19)
  6. 金額を浮動小数のドルから整数のセントの API へ移す (4 / 66)

1 回の試行は次の形のコマンドです。<…> の部分を置き換え、プロンプトは標準入力から渡します。

claude -p --model '<モデルの ID>' --effort high --output-format stream-json --verbose --tools Bash,Read,Write,Edit,Glob,Grep --permission-mode dontAsk --settings '<隔離とサンドボックスの設定 (JSON)>' --strict-mcp-config --setting-sources '' --no-session-persistence --disable-slash-commands --max-turns 60 --max-budget-usd 5 < '<課題のプロンプト>'

モデルの ID は、Sonnet 5.5 が claude-sonnet-5-5、Opus 5.5 が claude-opus-5-5、Fable 5.1 が claude-fable-5-1、Sonnet 5 が claude-sonnet-5 です。

ほかに揃えた条件です。括弧内は、上のコマンドで対応するフラグです。--settings には、隔離とサンドボックスの設定 (JSON) を渡します。

  • 1 回の上限は 60 ターン・20 分・API 換算 $5 (安全のため)。試行の順番は、反復と課題ごとにモデルの並びを入れ替えました。
  • ユーザーやプロジェクトの設定と CLAUDE.md は読ませず (--setting-sources '')、自動メモリは autoMemoryEnabled: false で切り、MCP サーバーも使っていません (--strict-mcp-config)。
  • セッションは保存せず (--no-session-persistence)、スラッシュコマンドも使っていません (--disable-slash-commands)。
  • Bash はサンドボックスで動かし、ネットワークはすべて拒否しました。ホームディレクトリの下で読めるのは作業ディレクトリと一時ディレクトリだけです (課題の置き場と隠しテストは読めません)。Edit は作業ディレクトリの中に限りました。

成功とみなしたのは、元のテストと隠しテストがともに通り、元のテストや保護したファイル (生成データなど) に手を入れていない回です。元のテストは初期の版へ戻してから実行し、隠しテストは採点のときだけ作業ディレクトリの外から持ち込みます。モデルが自分で書いたテストは合否に使っていません。

成功数に差は出た?

出ませんでした。5 つのモデルがすべて 18/18 で、どの課題でも 3/3 です。全体の結果は次の表のとおりで、「成功」の列がこの問いの答えです。下の表の時間・ターン数・ツール呼び出し・出力トークン・費用は、失敗した回も含めた 1 回あたりの中央値です。比は Opus 5 の中央値に対する値です。

モデル (effort) 成功 時間 ターン / ツール呼び出し 出力トークン 費用 (API 換算) Opus 5 との比 (時間 / 費用)
Sonnet 5.5 (high・既定) 18/18 21 秒 9 / 8 2,602 $0.07 0.35 倍 / 0.28 倍
Sonnet 5 (high・既定) 18/18 34 秒 10.5 / 9.5 3,731 $0.10 0.55 倍 / 0.41 倍
Opus 5.5 (high) 18/18 31 秒 8 / 7 3,355 $0.15 0.50 倍 / 0.60 倍
Opus 5 (high・既定) 18/18 62 秒 10 / 9 4,300 $0.25 基準
Fable 5.1 (high・既定) 18/18 39 秒 9 / 8 3,147 $0.34 0.63 倍 / 1.34 倍

出力トークンには思考のトークンも入っています。Opus 5.5 だけ「既定」の印が無いのは、Claude API での Opus 5.5 の既定の effort が medium で、high は既定より 1 つ上だからです。

全モデルが満点だったので、この 6 課題は成功数で能力を見分けられる難しさではありませんでした。成功数以外では、時間・費用やターン数などの進め方に違いが見えました。

時間と費用は Opus 5 と比べてどれだけ違う?

5 つのモデルの中で、時間も費用もいちばん小さかったのは Sonnet 5.5 です (時間 0.35 倍・費用 0.28 倍)。比は、前の節の表の右端の列に並べています。

課題ごとに見ても、Sonnet 5.5 は 6 課題のどれでも Opus 5 より短い時間で終わりました。3 回の最小〜最大の範囲が Opus 5 と重なった課題もありません。開きが最も大きかったのは課題 5 (在庫と注文の不具合) で、時間の比は 0.20 倍でした。

費用は、Sonnet 5.5・Sonnet 5・Opus 5.5 の 3 つが 6 課題すべてで Opus 5 を下回り、範囲も重なりませんでした。18 回の合計は Sonnet 5.5 が $1.38、Sonnet 5 が $2.03 です。公式の料金表の単価は、Sonnet 5.5 と Sonnet 5 で同じ (入力 $2・出力 $10 / MTok) です。

Fable 5.1 は様子が違います。時間は 0.63 倍で、6 課題のうち 4 課題で Opus 5 より短く、残りの 2 課題 (課題 3・4) は中央値では長いものの、範囲が重なるばらつきの範囲でした。一方で費用は 6 課題すべてで Opus 5 を上回り、比は 1.34 倍、18 回の合計は $7.07 です。出力トークンは Opus 5 の 0.73 倍と少なめでした。

費用は API の定価に換算した値で、請求額ではありません。実行は Max プラン (サブスクリプション) でログインした Claude Code で行い、API キーは使っていません。値は Claude Code が記録した定価換算の金額です。

課題ごとに見ると差はどこで出た?

Sonnet 5.5 は 6 課題すべてで時間と費用の中央値が Sonnet 5 を下回りましたが、課題によっては範囲が重なり、ターン数は課題 3 で逆の向きでした。

課題ごとの結果です。全セルが 3/3 の成功なので、下の表では「時間の中央値 / 費用の中央値 (API 換算)」だけを並べます。

課題 Sonnet 5.5 Sonnet 5 Opus 5.5 Opus 5 Fable 5.1
1 17 秒 / $0.06 46 秒 / $0.15 19 秒 / $0.10 33 秒 / $0.19 24 秒 / $0.23
2 22 秒 / $0.06 32 秒 / $0.10 26 秒 / $0.12 64 秒 / $0.22 32 秒 / $0.30
3 16 秒 / $0.05 17 秒 / $0.06 40 秒 / $0.19 59 秒 / $0.26 68 秒 / $0.35
4 22 秒 / $0.07 24 秒 / $0.08 30 秒 / $0.15 38 秒 / $0.19 41 秒 / $0.29
5 23 秒 / $0.08 36 秒 / $0.12 50 秒 / $0.25 115 秒 / $0.35 42 秒 / $0.43
6 40 秒 / $0.13 62 秒 / $0.19 82 秒 / $0.35 119 秒 / $0.55 76 秒 / $0.68

読み取れることは次のとおりです。

  • Sonnet 5.5 と Sonnet 5 で範囲が重なったのは、費用が課題 3・6、時間が課題 3・5・6 です。
  • Sonnet 5.5 と Opus 5.5 では、費用はどの課題でも Sonnet 5.5 が安く、課題 5 は $0.08 ($0.08〜$0.09) 対 $0.25 ($0.24〜$0.26) でした。時間は課題 1 で Opus 5.5 が 19 秒 (17〜25 秒) と、Sonnet 5.5 と範囲が重なります。

ターン数は課題によって逆の向きが出ました。課題 1 では Sonnet 5 が 14 (10〜14)、Sonnet 5.5 が 7 (7〜8) でした。課題 3 (重複した割引の切り出し) では逆に、Sonnet 5.5 のターン数が 8 (8〜9)、Sonnet 5 が 6 (6) で、Sonnet 5 の方が少なく済みました。思考のトークンの中央値は、全課題を通した 1 回あたりで Sonnet 5.5 が 318、Sonnet 5 が 754 です。

Sonnet 5 より速く安いという発表と実測は合う?

向きは合いました。

Anthropic の発表では、Sonnet 5.5 は Sonnet 5 より 30% 以上速く動き、多くの作業で費用が最大 30% 安いとされています。当社の実測での API の時間 1 秒あたりの出力トークンの中央値は Sonnet 5.5 が 147.5、Sonnet 5 が 113.3 で、費用の中央値 ($0.07 と $0.10) とともに発表と同じ向きでしたが、発表と同じ条件で確かめたものではありません。この量は、表の「時間」(CLI の起動から終了までの実時間) とは別に集計しました。

ほかの発表の数字との照らし合わせです。

発表の内容 当社の実測 扱い
Opus 5.5 は Opus 5 より実行費用が 40% 安い 費用の比 0.60 倍 向きは同じ。Opus 5.5 の既定は medium だが high で測ったので条件は違う
Sonnet 5.5 は Sonnet 5 よりツール呼び出しをまとめ、手順が少ない 全課題の中央値は同じ向き。課題 3 は逆 課題ごとに 3 回の比較なので発見とは扱わない
Terminal-Bench 4.0 で Sonnet 5.5 が 70.6%、Sonnet 5 が 10.3% どちらも 18/18 確かめても否定してもいない

Terminal-Bench 4.0 は複雑で多段の作業のベンチマークで、当社の小さな課題とは難しさが違います。当社の課題では、差を測れる難しさに届いていなかった可能性があります。

測るときのハマりどころは?

注意が要るのは、権限の自動判定による拒否と、「既定の effort」が API と Claude Code で違うことの 2 点です。

--permission-mode dontAsk での拒否

自動で許可されない操作を拒否する設定だったので、実行されずに弾かれたコマンドがありました。拒否された回数は、各 18 回の試行のうち Sonnet 5.5 が 12 回 (12 回の試行で)、Sonnet 5 が 3 回 (3 回の試行で)、Opus 5.5 が 12 回 (12 回の試行で)、Opus 5 が 1 回 (1 回の試行で)、Fable 5.1 が 7 回 (6 回の試行で) です。成否は採点の結果だけで決めています。拒否の理由は次の 3 種類でした。

  • ヒアドキュメントを含むコマンド
  • 自動では許可されない形のコマンド
  • 作業環境の外のパス

拒否が時間やターン数に与えた影響は、今回は測っていません。

effort の既定のずれ

Claude API での既定の effort は Opus 5.5 だけが medium で、Sonnet 5.5 を含むほかの 4 つは high です。一方、Claude Code では Sonnet 5.5 と Opus 5.5 の既定が medium です。そのため Sonnet 5.5 は Claude Code の既定より 1 つ上、Opus 5.5 はどちらでも 1 つ上のレベルで測ったことになります。要約の表の「既定」の印は Claude API の既定の effort によるもので、Claude Code での Sonnet 5.5 の既定 (medium) とは違います。

既定のまま使うと、時間と費用はこの結果と変わる可能性があります。比べるときは上のコマンドのように --effort high で明示して揃えます。普段の対話で Sonnet 5.5 を high で使いたいときは、/effort にレベル名を続けます。

/effort high

設定ファイルで effort を揃えようとしてユーザー設定の最上位に effortLevel を書いても、Sonnet 5.5 と Opus 5.5 には効きません。比べるときは --effort でレベルを指定します。

この実測から言えないことは?

難しい課題での実力差と、high 以外の effort での結果は分かりません。

  • 難しい課題での差: 6 課題とも全モデルが 3/3 だったので、モデルの能力差は表に出ていません。Sonnet 5.5 で十分だったと言えるのは、依存の無い小さな Node.js の課題までです。
  • ほかの effort: high に固定したため、effort を下げたときの成功数は測っていません。公式の Effort のページは、Sonnet 5.5 のエージェントのコーディングでは仕様のはっきりした課題を medium から始め、難しい課題や長い課題で high に上げるよう勧めています。
  • 統計的な確からしさ: 回数は課題×モデルごとに 3 回 (モデルごとに 18 回) で、検定はしていません。なお、利用上限や起動の失敗で集計から外した回は、どのモデルも 0 回です。
  • 長く複雑な作業: 長時間のエージェント作業や大きなリポジトリは試していません。
  • ほかの版・日付: 上に書いた版と日付以外では確かめていません。

まとめ

小さな 6 課題を effort high で各 3 回解かせた範囲では、Sonnet 5.5 は成功数でほかのモデルと並び、時間と費用は 5 モデルの中で最も小さくなりました。発表とも向きは合います。ただ、課題が易しかったので実力差については言えません。自分の作業で比べるときは、--effort で effort を揃え、成功数に差が出る難しさの課題を選んでください。

Sonnet 5 からの仕様の変更点 (between_tools など) や、Claude Code でモデルを切り替える手順は、Claude Sonnet 5.5 の性能と料金を比較|Sonnet 5・Opus 5.5・Fable 5.1 と実測 で紹介しています。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?