0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

6つのLLM APIを同一プロンプトで比較した:速度差30倍、実装で踏む罠は4つ

0
Posted at

結論から書きます。2026年11月時点の主要6モデルは「日常的なタスクをこなせるか」ではほぼ横並びで、差がつくのは応答時間、出力トークン数、そしてリクエストが中身入りで返ってくるかどうかでした。同じ3問を投げただけで、最速と最遅の間に30倍の開きが出ています。

この記事は、これからAPIキーをコードに埋め込む人に向けています。従量課金、バッチ処理、タイムアウトの設定——そういう話が発生する立場の人を想定しています。ブラウザでたまにチャットするだけなら、以下の数字はあまり役に立ちません。計測は2026年11月12日、1日で完了しています。

6モデル・3タスク・1エンドポイント

検証環境:6モデル・18リクエスト・APIキーは1つ

まず環境を書きます。ここが違うと数字の意味が変わるためです。

項目 内容
計測日 2026年11月12日
エンドポイント OpenAI互換の単一エンドポイント(後述)
APIキー 1つ。6モデル共通
リクエスト数 18(3タスク × 6モデル、各1回)
temperature 推論・コード 0.3、執筆 0.7
プロンプトの言語 中国語

モデルは以下の6つです。表示名ではなく、実際にリクエストへ入れたIDを併記します。

ベンダー モデルID
Anthropic claude-sonnet-5-5
OpenAI gpt-5.3-codex
Google gemini-3.1-pro
DeepSeek deepseek-v4-pro
ByteDance(Doubao) doubao-seed-2-1-turbo-260628
Tencent(Hunyuan) hy4

プロンプトは中国語で書きました。想定利用者が中国語で書くためで、日本語プロンプトでの品質を測った実験ではありません。この点は後述の「この検証で言えないこと」にも効いてきます。

何を測ったか

3タスクを用意し、6モデルに同じものを投げました。判定は主観ではなく、スクリプトで機械的に行っています。

推論。 答えが一意に決まる3問です。1〜1000の整数のうち3または5で割り切れて15で割り切れないものの個数、2026年11月12日が木曜日であるとき2027年3月1日の曜日、コインを10回投げて少なくとも1回表が出た条件のもとで最初の5回がすべて裏である条件付き確率。正解は先にスクリプトで計算しておきました(401、月曜日、31/1023)。

執筆。 ロボット掃除機の140〜160字の販促コピー。家族向け。売り文句を3つ必ず入れる、禁止語を4つ(中国語の「不仅」「极致」「让您」「智能生活」)使わない、小見出しと絵文字は禁止。制約そのものがテストです。コピーは誰でも書けますが、文字数を守れるとは限りません。

コード。 Pythonでparse_duration(s)を実装。1h30mや90sを秒に変換し、不正入力はNoneを返す。assertを6つ以上添える。モデルが書いたassertは採点に使わず、こちらで用意した13個の隠しケースで判定しました。単位の重複(1h1h)、単位だけ(h)、単位なし(10)、途中で切れた入力(1h30)、負数(-5s)、順序が入れ替わっているが合法(1h90s)などです。

推論:1モデルだけ日付を1日間違えた

5モデルが3問すべて正解。Codexだけ2問正解でした。

外したのは曜日の問題です。2026年11月12日から2027年3月1日までの日数を108日と数え、7で割って木曜から3日進めて日曜日と答えています。正しくは109日、余りは4で月曜日です。3月1日当日を数え落としていました。

厄介なのは、出力の見た目が完璧だったことです。番号付きの手順、整った書式、自信のある結論。どこにも「怪しい」と書いてありません。正解を先にスクリプトで出していなければ、そのまま通していたと思います。

応答時間は正確性より大きく開きました。

タスク別の応答時間

実測値。Geminiのコードタスクは完走しなかったため未計測。

  • Codex:6.1秒、出力547トークン
  • Claude:6.6秒、612トークン
  • Gemini:39.1秒、3,531トークン
  • Hunyuan:45.8秒、3,690トークン
  • Doubao:186.0秒、11,958トークン
  • DeepSeek:195.0秒、16,138トークン

6秒台が2つ、40秒前後が2つ、3分超が2つ。チャットなら「待たされる」で済みますが、夜間に数千件流すバッチなら待ち行列の長さとタイムアウト率に直結します。

出力トークンの列も見てください。同じ3問で、最遅のモデルは最速のモデルの約30倍を消費しています。単価が安いことは、1リクエストあたりが安いことを意味しません。

推論3問での出力トークン数

執筆:最速のモデルが文字数を23字下回った

5モデルはそのまま出せる品質でした。145〜150字に収まり、売り文句3つを網羅し、禁止語はゼロ。トーンは媒体差であって優劣ではありません。Claudeは読者の帰宅時間に問いかける書き出しで始まり、Doubaoは広告素材らしく割引を先頭に置き、Hunyuanは「一日で床が埃をかぶる」という不満から入ります。

Codexは117字でした。売り文句も禁止語も条件を満たしているのに、文字数の下限だけ落としています。応答は3.0秒、出力104トークンで、6モデル中もっとも軽い実行でした。速さと素直さは両立しないことがあります。この場合、編集者が文字数カウンタで弾く種類の成果物が、完成品の顔をして返ってきました。

同じ150字のコストはこうなります(各社の公開単価で換算)。

  • Codex:0.17セント
  • Claude:1.22セント
  • DeepSeek:1.64セント
  • Gemini:4.57セント

同じ文字数で27倍。この差は単価からはほとんど来ていません。150字のコピーに対してモデルがどれだけ考えたかの差です。コスト見積もりを「100万トークンあたりの単価」で組んでいると、執筆系のタスクでは桁を間違えます。

コード:5モデルが同じ隠しテストを通過、1モデルは完走せず

ここは明確な勝者が出ると思っていましたが、出ませんでした。

Claude、Codex、Hunyuan、DeepSeek、Doubaoの5モデルが13個の隠しケースをすべて通過。単位の重複も欠落も負数も、すべて処理できています。この難易度では「どのモデルがコードをうまく書くか」は問いとして成立しません。差が出るのは納品速度です。

  • Codex:4.8秒
  • Claude:8.7秒
  • Hunyuan:39.3秒
  • DeepSeek:75.3秒
  • Doubao:139.3秒

仕様が4行で済む関数で、最速と最遅に29倍の差があります。

Geminiは使える回答を返しませんでした。出力上限4,096では429が連続し、2,048に下げると200は返るもののコードが関数の途中で切れます。書けない証明ではなく、この経路・この上限では安定して結果が出なかったという記録です。本番トラフィックを流す前に知っておくべき性質ではあります。

再現手順:半日で6社を比べられた理由

同じ比較を半日で終えられたのは、6社が同一のエンドポイント・同一キー・同一リクエスト形式の背後にあったからです。モデルの切り替えはフィールドの変更であって、新しいSDK、新しい請求、新しい認証の追加ではありません。

https://api.crazyrouter.com/v1

ボディはそのままでmodelだけ差し替えれば、他の条件が動いていないぶん比較が濁りません。今回の18リクエストもこの形で流しています。現在の単価は料金ページで確認できます。この程度の比較なら、費用は1ドルもかかりません。条件を揃えられたぶん、次に書く4つの罠も同じ条件下で踏んだ記録です。

実装で実際に踏んだ4つの罠

ここからはモデルの性能ではなく、最初の1週間が荒れるかどうかの話です。4つとも実際に踏みました。

1. 思考型モデルは200を返して中身が空になる。 HunyuanとDeepSeekに出力上限4,096を与えると、予算をすべて思考過程に使い、本文が空のままfinish_reasonがlengthで返ってきます。16,384まで上げて初めて回答が取れました。HTTPステータスだけ見るクライアントを書くと、何も返さない機能をそのまま出荷することになります。

2. レート制限は「きれいなエラー」ではなく「不安定さ」として現れる。 Geminiの429は特定の出力上限でだけ出ました。上限を変えると消えます。指数バックオフ付きのリトライは、ここでは任意ではありません。

3. この6つのAPIはどれもWeb検索しない。 前日の米国市場の終値をお願いしたところ、6モデルすべて「取得できない」と答えました。数字を捏造しなかったのは評価できます。次にリクエストへweb_searchツールを宣言すると、5モデルが400を返しました(Claudeの経路はfunctionツールのみ対応、Geminiはツール名が空と判定、残り3つはパラメータ不正)。Codexだけ200を返し、具体的なニュース見出しをでっち上げ、ニュースサイトのトップページを出典として添えてきました。最新情報が必要なら、検索層を自分で作り、結果をプロンプトに入れるしかありません。

4. モデルの版は2026年、知識はもっと古い。 学習データのカットオフを聞くと、6モデルの回答は2024年6月から2025年1月の間に散らばりました。名前が最新でも、事実は1年半遅れていることがあります。

どのタスクをどのモデルに振るか

やりたいこと 第一候補 次点 根拠
人が読む文章を書く Claude Doubao 3問正解、6秒台、2語直せば公開できるコピー
とにかく速く大量に回す Codex Claude 3タスクすべて最速、執筆は3.0秒
単発の小さな関数を書く Codex Claude 隠しケース13個を通過、4.8秒
中国語の口語コピー Doubao Hunyuan 6モデル中もっとも自然、ただし推論は186秒
とにかく安く済ませたい Codex DeepSeek 執筆0.17セント。ただし出力の機械検証は必須
迷ったときの無難な選択 Hunyuan Claude 全タスクで破綻せず、突出した弱点もない

この検証で言えないこと

1タスクあたり1サンプル、1日、1エンドポイント。同じプロンプトを20回繰り返せば失敗の出方も変わります。特に推論の1問は、単発のデータ点であって順位ではありません。長文コンテキスト、画像入力、ツール呼び出しは一切検証していません。金額は各社の公開単価で換算したもので、契約条件によって実際の請求は変わります。

言えるのはこれだけです。この難易度では、正確性はもう差のつく場所ではありません。差がつくのは応答時間、出力トークン数、そしてリクエストの出力上限の初期値です。そこを基準に選び、自分のプロンプトで測ってから決めてください。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?