読者＝APIでモデルを切り替えながら開発する人；持ち帰れるもの＝繰り返し検証の設計と、3モデルの使い分けの判断基準。
モデルを乗り換えるとき、多くの人は数件のリクエストで試します。それで大きな問題が見つかることもありますが、安定性は分かりません。
1回の失敗が「たまたま」なのか「そのモデルの癖」なのかは、1回では区別できないためです。同じ問題を5回投げると、この2つが分かれます。
2026年10月28日、Sonnet 4.6、Sonnet 5.5、GPT-6.1 Sol の3つに同じ12問を5回ずつ投げ、合計180回の呼び出しを行いました。ここでは、その設計と結果、そして実務での使い分けを整理します。
1回の試行で分からないこと
同じプロンプトを1回だけ投げると、返ってきた答えが良かったか悪かったかしか分かりません。
知りたいのは、その先です。毎回同じように失敗するのか、それとも5回に1回だけ崩れるのか。前者はモデルの変更か検査の追加が必要で、後者は再試行で吸収できます。コストの桁が変わります。
だから回数を増やしました。12問×5回×3モデルで180回です。
検証の設計
課題は小さく、正解が一意に決まるものにしました。計算、確率、文字数制限つきの用語説明、構造化出力、コードの書き換えなどです。
8問は自動判定、4問（コードと書き換え）は人の目で見る必要があるため、通過率には入れていません。
| モデル | 自動判定の通過 | 中央値の応答時間 | 1回あたりのコスト |
|---|---|---|---|
| Sonnet 4.6 | 30/35 | 3.29秒 | 0.0033ドル |
| Sonnet 5.5 | 39/40 | 2.81秒 | 0.0047ドル |
| GPT-6.1 Sol | 35/37 | 6.19秒 | 0.0265ドル |
分母が40で揃っていないのは、180回のうち13回がネットワークエラーで判定不能になったためです。ここを揃えてしまうと、モデルではなく回線を比べることになります。
結果1: 60字の制約は守れるか
最初の差は、いちばん地味な課題で出ました。「MoEを60字以内で説明し、『専門家』という語を使わない」という指示です。
3モデルの長さは65字、58字、48字。Sonnet 4.6だけが上限を超えました。
Sonnet 4.6の出力（日本語訳）：
一種のモデルアーキテクチャで、ネットワークを複数のサブモジュールに分け、入力ごとにゲート機構が少数のサブモジュールを動的に選んで計算に参加させることで、計算量を低く保ちながら総パラメータ数を拡大する。
5字オーバーです。中身は正確ですが、指示は「60字以内」という制約であって提案ではありません。
残り4回も投げました。長さは65、62、68、66、70字。5回とも60字を超えました。
これは数え間違いではありません。モデルは「説明を完成させる」ことを優先し、「上限に収める」ことを後回しにしています。文章を書く場面では長所ですが、文字数チェックのあるバッチ処理では、毎回手で削る作業が発生します。その手間は呼び出し料金より高くつきます。
結果2: 5回に1回だけ崩れる誤り
2つ目はもっと静かな差でした。1から5までの数字から3つ選び、和が偶数になる確率を求める問題です。正解は3/5。
Sonnet 5.5は5回中4回正解しました。外した1回の推論はこうです（日本語訳・抜粋）。
3つとも偶数：偶数は2と4の2つしかないので、3つは取れず0通り。奇数1つと偶数2つ：C(3,1)×C(2,2)=3通り。よって確率は3/10。
本来は「奇数2つと偶数1つ」を数えるところを、「奇数1つと偶数2つ」と取り違えています。組み合わせの数が半分になり、答えが半分になりました。
ここで5回という回数が効きます。1回だけなら、このモデルは「完璧」か「使えない」のどちらかに見えたはずです。実際は39/40で、1問だけの取りこぼしでした。
実務では再試行で吸収できる種類の誤りです。モデルを替える必要も、検査を足す必要もありません。
結果3: 同じ単価なのに請求が5.6倍
3つ目は費用です。Sonnet 5.5とGPT-6.1 Solは、100万トークンあたり入力2ドル・出力10ドルで同じ単価です。
トークン単価は Sonnet 5.5 の料金ページ に記載されています。
ところが1回あたりの実費は、Solが0.0265ドル、5.5が0.0047ドル。同じ単価で5.6倍です。
差は単価ではなく、1問あたりの消費量から来ています。Solは途中の計算に多くのトークンを使います。
そして、この追加費用は精度を買っていませんでした。楕円と直線が接するときの接点のx座標の2乗を求める問題で、Solは5回中2回、4/5 とだけ返しました。正解は16/5です。Sonnet 4.6と5.5は同じ問題を5回とも正解しています。
高い、遅い、そして他の2つが間違えない問題で2回誤る。これは「高級版」ではなく、別の作りのモデルだと考えるのが自然です。
実務に近い形: 20件×5項目
12問は人工的な小問題です。実務に近づけて、サポートチケット20件から5項目（番号、顧客、製品、金額、日付）を抜き出す作業も試しました。100セルです。
3モデルとも100セルすべて正解でした。精度では差がつきません。
差が出たのは時間です。Sonnet 5.5が7.5秒、GPT-6.1 Solが29.3秒、Sonnet 4.6が37.9秒。
1回30秒の差は小さく見えます。1日1万件なら84時間以上、3日分以上の計算時間になります。
場面ごとの選び方
文字数や形式が厳しい処理（バッチ生成、構造化出力、APIの戻り値）では、Sonnet 5.5が最も素直です。5回とも制限違反がなく、中央値の応答時間も最短でした。
人が読んで直す前提の文章では、Sonnet 4.6のままで問題ありません。長めで情報量の多い出力は、その場面では長所になります。
GPT-6.1 Solは「安い代替」にはなりません。単価は同じで実費は5.6倍、簡単な計算問題で2回誤ります。選ぶ理由を「安いから」以外に説明できる必要があります。
| 用途 | 判断 | 選ぶモデル |
|---|---|---|
| 文字数・形式を厳守するバッチ処理 | 乗り換え | Sonnet 5.5 |
| 人が仕上げる単発の文章 | そのまま | Sonnet 4.6 |
| 同価格で安く済ませたい | 不適 | GPT-6.1 Sol |
| 長い文書を一度に読みたい | 乗り換え | Sonnet 5.5（1Mコンテキスト） |
表の最終行は仕様にもとづく判断で、今回の検証では測っていません。
この検証で分からないこと
測ったのは、単一ターン・短い入力・正解が明確な課題だけです。
長いコンテキスト、複数ターンの対話、ツール呼び出し、画像入力は測っていません。したがって、これらの能力について上の表は何も語りません。
180回のうち13回はネットワークエラーで判定不能、4問は人手判定のため集計外です。料金は2026年10月28日時点でモデル一覧に記載されていた単価で、実際の請求は利用状況によって変わります。
同じ手順を自分の課題で回すのが、いちばん確実です。プロンプトを1本固定し、5回投げ、通過数と所要時間を記録する。それだけで、記事の結論より自分の環境に合った判断ができます。