この記事は AIHubMix が作成しました。比較の基準日は2026年11月12日です。公開ドキュメントに基づく比較であり、認証付き API リクエストによるテストは実施していません。実際のチャネルでの機能・応答の同等性も未検証です。ベンチマークは Google の自己申告値で、AIHubMix の測定値ではありません。
TL;DR
- 入力単価を重視するテキストルーターでは、Jev 1.14 を早い段階で評価する価値があります。
- Gemini Decision 1 は、誤動作や不要なエスカレーションを減らす効果が検証され、その効果で入力単価の差を正当化できる場合に選びます。
- 比較対象は同じ数値の閾値ではなく、各モデルで閾値を調整したルーティング方針です。調整に使わないホールドアウトデータで、自動処理できる割合と総運用コストを比較します。
- ECE は誤分類率ではありません。公式直接 API の入力単価も、ゲートウェイの実際の請求額を示すものではありません。
Jev 1.14 と Gemini Decision 1 は、どちらも yes/no（noul）、選択肢、ルーブリックに基づくスコアのように、出力範囲が決まった判定を扱います。ここで比較するのは、リクエストの振り分け、ツール実行の可否、エスカレーションをどう決めるかです。
ベンチマークは分母と対象範囲まで読む
数値は Google の公開評価 に基づきます。Google の自己申告であり、独立した検証結果でも AIHubMix の測定値でもありません。
| Google が報告した指標 | Gemini Decision 1 | Jev 1.14 |
|---|---|---|
| JevBench 正解率 | 92.2% | 90.0% |
| When2Call 正解率 | 79.9% | 82.0% |
| Top-1 ECE | 0.0250 | 0.0494 |
| 評価費用 | USD 0.88 | USD 0.68 |
JevBench は公開分割データを使用しています。ECE と評価費用は、共通する7つの評価が対象です。Google はベンチマーク全体を分母とし、回答拒否、安全性によるブロック、モデルが受け付けられなかったリクエストも不正解に数えています。
JevBench と集計されたキャリブレーションでは Gemini が、When2Call の正解率では Jev が上回っています。Expected calibration error（ECE、期待較正誤差）は、信頼度と実際の正しさがどれだけ一致するかを測る指標です。誤分類の割合ではなく、値は低いほどよい指標ですが、集計 ECE が低いだけでは特定ルートの閾値を検証できません。
この図には、ルート別の適合率・再現率、誤ったツール実行の割合、同じ許容誤り水準で自動処理できる割合は載っていません。導入には、これらを別途評価する必要があります。
閾値を選ぶデータと比較するデータを分ける
評価では、モデル単体の点数ではなく、閾値とフォールバックを含む方針を比較します。
- ルートの定義、許容する誤動作率、誤動作のコスト、フォールバック方針を固定します。
- ラベル付きの開発用トラフィックで、モデルごとに閾値を選びます。
- 閾値調整に使わない別のホールドアウトデータで評価します。
- 誤った自動処理と、不要にエスカレーションされた有効なリクエストの両方を数えます。同じ許容誤り水準で自動処理できる割合を比較します。
- 人手確認が多く必要になる場合は、その費用も総運用コストに含めます。
影響の大きい操作では、不確かなときは実行しない方針か、人手へのフォールバックを使います。権限チェックはモデルの判定とは別に維持します。
ハマりどころ
同じ confidence なら閾値も共通だと考える
Google の信頼度の説明 では、confidence は最も大きい結果確率です。yes/no なら yes と no の確率の大きい方であり、独立した2回目の確認ではありません。
Jev のネイティブな noul 応答は、別個の confidence フィールドを持たず、確率を返します。選択肢やスコアの応答でフィールド名が共通でも、キャリブレーションが同じとは限りません。モデル、ルート、バージョンをまたぐ閾値の流用は、未検証の方針変更です。
入力単価の2.38倍を、そのまま請求額全体に当てはめる
以下は Google の料金ページ と TypeSafe のモデル資料 に記載された、公式の直接 API の定価です。AIHubMix のチャネル料金ではありません。
| モデル | 入力100万トークンあたり | 出力 |
|---|---|---|
| Gemini Decision 1 | USD 0.10 | 0トークン |
| Jev 1.14 | USD 0.042 | 無料 |
Gemini は出力トークンを生成しません。Jev の出力が無料でも、利用量として報告される出力トークン数が必ず0になるわけではありません。約2.38倍という比率は入力トークン単価の比較であり、すべてのリクエストの総費用の比率ではありません。
資料に基づく試算として、100万件の判定、1判定につき1リクエスト、質問を含めて1リクエストあたり課金対象の入力2,000トークンを仮定します。このトークン数は両社それぞれに独立して置く仮定で、トークン化や整形が同じになることを示しません。
合計20億入力トークンなら、公式単価で Gemini は USD 200、Jev は USD 84、差額は USD 116です。推論の実測値でもゲートウェイの請求額でもなく、リトライ、エスカレーション、正解率の違いは織り込んでいません。実際の請求は、選んだチャネルの料金を確認してください。
一方、Google の評価費用は USD 0.88 / USD 0.68 で約1.29倍です。ワークロードと課金トークン数が異なれば、定価と矛盾せず別の比率になります。
ネイティブ仕様を、そのままゲートウェイで使えると考える
Google はテキスト、画像、音声、動画、PDF 入力を記載し、入力と質問を合わせた上限を262,144トークンとしています。質問数は1〜1,000ですが、これだけで Jev より大容量とはいえません。TypeSafe はコンテキスト制限の範囲内で、別個の質問数上限を設けていません。
Jev はテキスト専用ではなく、PNG/JPEG 画像も受け付けます。ただし、Jev 1.14 のリリースノート では画像、Box、拡張コンテキストを実験的機能としています。ネイティブの画像と Box は標準で無効で、提供元のオプトイン用ヘッダーが必要です。このヘッダーがゲートウェイ経由でどう扱われるかは未検証です。
Jev の標準上限は、共有状態と全質問の合計が64kトークン、共有状態と単一の質問の合計が32kトークンです。実験的な提供元ヘッダーで両方を262kまで拡張できますが、処理は遅くなり、精度も下がります。
いずれも提供元のネイティブ仕様で、検証済みのゲートウェイ保証ではありません。また、Google のネイティブ API はキャッシュと Batch に非対応で、ネイティブなツール呼び出し入力ブロックも受け付けません。ツールの実行可否を判定することと、そのプロトコルブロックを入力できることは別です。
製品IDだけで上流バージョンを固定したつもりになる
AIHubMix の比較ページ は、比較する製品を選ぶ出発点になります。両製品の公開手順には、POST /v1/systemone、同じ AIHubMix キー、state と questions からなるリクエスト形式が記載されています。
AIHubMix の製品IDは gemini-decision-1 と jev-1.14 ですが、この名前だけでは上流ビルドの不変な固定を意味しません。Jev のネイティブなバージョン付きIDは jev-1.14.0 です。エイリアスがどこでも同じバージョンを指すと仮定せず、実際のチャネルが返すモデル名・バージョンを記録してください。
この比較では認証付きリクエストを実行していません。共通するテキストリクエストの資料だけでは応答の同等性を証明できません。ネイティブのメディア入力、コンテキスト上限全体、Gemini の1,000質問の処理能力が AIHubMix 経由でも利用できるとは確認していません。
まとめ
- 入力単価を重視するテキストルーターでは Jev を早期に評価し、許容誤り水準を満たしたうえで総費用が低ければ採用します。
- Gemini を選ぶ根拠は、単一のベンチマーク順位ではなく、単価差を正当化する検証済みの効果です。
- 閾値、フォールバック、人手確認の費用を含めて比較し、モデル、バージョン、トラフィックが変われば再評価します。
次は、必要な機能を実際に選ぶチャネルで確認し、別々に調整したルーティング方針を同じホールドアウトデータで比較してください。
あわせて読みたい：Gemini Decision 1 シリーズ
- 判定を送るリクエスト例と基本仕様は、Gemini Decision 1の料金とAPI：型付き判定を使う を参照してください。
参考
公式料金の確認時点は、Google が2026年11月12日06:43 UTC、TypeSafe が同日06:53 UTCです。費用は資料に基づく試算で、推論の実測値ではありません。
- Gemini Decisions API の発表とベンチマーク図（Google）
- Decisions API ドキュメント、公式料金（Google）
- モデル資料、Jev 1.14 リリース、画像の制約、ネイティブ API スキーマ（TypeSafe）
- Gemini Decision 1 と利用手順、Jev 1.14 と利用手順（AIHubMix）
- Gemini Decision 1 と Jev 1.14 の比較（AIHubMix）