カバー画像はAIで生成しました。
背景
2つのモデルを同じ19問で測ったところ、結果は19/19と17/19でした。この数字自体は正しいのですが、通過率が教えてくれるのは「何問落ちたか」だけです。「どう落ちたか」は教えてくれません。
Gemini 3.8 Flashが落とした2問は、どちらもHTTP 200で返ってきており、エラーを1件も出していません。エラー率だけを見ているダッシュボードでは、この2件は最後まで見えません。
環境とバージョン
19問は6つの系統に分けました。壊れたコードの修正、ゼロからの実装、ツール呼び出し、リポジトリに関する質問応答、出力形式の遵守、長いファイルからの値の抽出です。
両モデルとも同一エンドポイント・同一リクエスト設定で実行し、1問につきモデルごとに1回、合計38回の呼び出しをすべて記録しました。
| GLM-5 | Gemini 3.8 Flash | |
|---|---|---|
| 合格 | 19/19 | 17/19 |
| 1問あたりの平均ターン数 | 2.9 | 3.3 |
| 入力トークン | 55,258 | 27,713 |
| 出力トークン | 11,049 | 13,034 |
| 推論トークン | 6,444 | 9,105 |
| 実行時間 | 444.5秒 | 510.3秒 |
| 定価換算コスト | $0.0906 | $0.0697 |
モデルごと・設問ごとに1回の実行です。この数値はこの設問セットを説明するものであり、両モデル一般を説明するものではありません。
落とした2問は、どちらも数百行のファイルを読む必要がある長文脈の設問に集中していました。
実測1：ターン上限で終わった呼び出し
設問1は402行のログに埋めたデプロイキーを探すもので、上限は6ターンです。
GLM-5は4ターン目で見つけて正常終了しました。Gemini 3.8 Flashは6ターンを使い切り、まだツールを呼んでいる途中でした。記録された stop_reason は tool_calls、最終テキストは空です。
図：落とした2問の終了理由と出力です。2つ目の出力は原文のまま掲載しています。
これは不正解ではありません。回答がないのです。外から見ると解けなかったように見えますが、実際には作業中に上限が来ただけです。
ここで引っかかったのは、HTTP 200が意味するのはリクエストが拒否されなかったことだけで、モデルが回答を終えたことではないという点でした。この2つを分けるフィールドは stop_reason だけです。
対処も変わります。誤答なら別モデルを検討する話になりますが、打ち切りならターン上限を上げるか、呼び出し側でその状態を検知して再試行する話になります。
実測2：値は合っているが形式が違う
設問2は883行のモジュールから定数の値を1つ探し、数字だけを返すよう指定しました。
両モデルとも2ターンです。GLM-5は 17 を返し、Gemini 3.8 Flashは RETRY_BUDGET 常量值为 17 を返しました。値は合っていますが、文になっています。
数字は正しく、形式は誤りです。これを整数としてパースするコードは失敗しますが、人が読めば合格と判定する可能性が高い。通過率が完全に隠してしまう種類の失敗です。
一点だけ補足します。設問のプロンプトは実行環境の作業言語である中国語で書かれており、回答も中国語で返ってきました。同じモデルが日本語や英語の指示でも文で返すかどうかは、この実行からは分かりません。実際に送る言語で確認する必要があります。
排錯：どこを見るべきだったか
2つの失敗に共通しているのは、どちらもエラーを出さず、どちらも呼び出し側がすでに受け取っているフィールドの中にあったことです。追加の実行は不要で、見る場所を3つ変えるだけでした。
stop_reason を結果と一緒に読む。 回答が完了した呼び出しと打ち切られた呼び出しを分ける最も安いシグナルです。エラー率だけを見るダッシュボードには絶対に出てきません。
内容より先に形式を検証する。 パースに失敗した回答は、形式の問題として流さず失敗として数えます。後から整えて通すと、必要だったシグナルが隠れます。
自分の入力・出力比を測ってから価格を比べる。 今回の実行ではGemini 3.8 Flashが総額で23.1%安い結果でした。ただし両モデルの入力消費量が違います。同じ使用量に揃えると$0.0694と$0.0697、0.4%差でほぼ同額です。定価そのものはGLM-5が入力$1.00／出力$3.20、Gemini 3.8 Flashが入力$0.75／出力$3.75で、入力と出力で有利な側が逆になります。キャッシュ入力はGemini 3.8 Flashが2.7倍安く、こちらは長い前置きを繰り返すワークロードでは単価より効いてきます。
図：計測したトークン量に定価を適用したものです。
ターン数と入力量も分けて見る必要があります。GLM-5はターン数が少ない（55対63）のに、入力トークンは約2倍でした。1ターンあたりに直すと約1,005と約440です。平均ターン数から上限を決めると、1ターンあたりを多く運ぶモデルでは、最も長く読む設問から先に切れます。実際に切れたのが実測1でした。
推論トークンも出力単価で課金されます。今回の実行では6,444と9,105で41%差がありましたが、1回の実行を固定の比率として扱うには足りません。
まとめ
2つのモデルの差はスコアではなく、失敗の仕方に出ました。19問中17問は両方通っており、分かれた2問は原因が異なります。1つはターン上限、1つは出力形式です。
標本は19問なので、1問の増減で5ポイント以上動きます。この結果は引用する結論ではなく、自分の環境で確認する方向として扱うのが適切です。長文脈の能力も今回の実行では判断できません。最も長い文書が約14,000トークンで、公開されている上限は200,000と1,000,000でした。ウィンドウを実際に埋める状況は別の試験が必要です。計測はテキスト入力のみを対象にしています。
2つのモデルを特定のタスクで比べる場合は、GLMシリーズのモデル一覧 を先に確認すると、自分の環境で試す前の絞り込みに使えます。価格は2026年10月22日時点の定価で、キャッシュ割引とバッチ割引は含みません。