「低価格」「1Mコンテキスト」といったスペックは魅力的です。ただし、コードレビューで重要なのはスペック表ではなく、実在する不具合をどれだけ拾い、確認にいくら掛かるかです。
TL;DR
- 同一の3ファイルを7モデルでレビューし、Codexで監査したところ、精度は52.1〜85.1%まで分散しました。
- 確認済み指摘1件当たりのコストは、Claude最安のHaiku 4.5比で無料〜約3.7分の1でした。ただし、Claudeはエージェント型、今回の7モデルは単発APIという手法差があるため、公平なモデル能力比較ではありません。
- 7モデル併用では確認済み指摘の約16%が単独モデルだけの発見でした。監査を前提にすれば、複数モデルを混ぜることは取りこぼし対策になり得ます。
- これは財務データ処理の3ファイルを対象にした単発評価（N=1）です。一般的な能力ランキングや、そのままの導入推奨ではありません。
背景：ai& Inferenceとこの実験の位置づけ
これは「どのモデルが最も賢いか」を決めるベンチマークではありません。Qiitaキャンペーンを契機に、社内で実施済みのClaude 4価格帯比較を、ai& Inference経由の7モデルへ拡張したケーススタディです。
ai&（株式会社エーアイ・アンド、横浜）は日本企業です。今回ホスティングされているQwen（Alibaba）・GLM（Zhipu/Z.ai）・Kimi（Moonshot AI）・DeepSeek（DeepSeek AI）は、中国発のラボが公開したオープンウェイトモデルです。一方で、推論の実行自体はai&が保有する日本国内インフラ上で行われ、各ラボ自身の中国側APIにプロキシされているわけではありません。
ai&自身の公式プレスリリースでも「すべての処理を日本国内のインフラで完結させる」「サービス基盤はすべて、ai&自身が保有・運営するハードウェア上で稼働します。レンタルのクラウドキャパシティは利用せず、データ経路に海外管轄が入ることもありません」と明記されています（PR TIMES、2026年6月23日付プレスリリース）。ただし、この主張を裏付ける独立した第三者機関による技術監査報告書は、現時点では確認できていません。ここまでの内容は、ai&自身の公式発表と契約文書（ToS）に基づく確認です。
対象モデルは以下の7つです。
- Qwen3.6-27B（Alibaba、中国）— 汎用の中規模オープンウェイトモデル。今回唯一の無料枠。
- Gemma-4-31B-it（Google、米国）— 軽量・オンデバイス志向のGemma系列。
- Kimi-K2.7-Code（Moonshot AI、中国）— コード特化にチューニングされたKimi系列の派生モデル。
- GLM-5.2（Zhipu/Z.ai、中国）— 中英バイリンガルで、ツール呼び出し・エージェント用途に強みを持つとされる系列。
- DeepSeek-V4-Flash（DeepSeek、中国）— 低コスト・高速志向の軽量版。
- DeepSeek-V4-Pro（DeepSeek、中国）— 同系列の上位モデル。
- gpt-oss-120b（OpenAI、米国）— OpenAIが公開したオープンウェイトモデル。
| モデル | 入力($/1M) | キャッシュ入力($/1M) | 出力($/1M) | コンテキスト長 |
|---|---|---|---|---|
| Qwen3.6-27B | 0.00 | 0.00 | 0.00 | 262K |
| Gemma-4-31B-it | 0.20 | 0.05 | 0.50 | 262K |
| Kimi-K2.7-Code | 0.65 | 0.20 | 3.50 | 262K |
| GLM-5.2 | 0.80 | 0.30 | 4.00 | 1M |
| DeepSeek-V4-Flash | 0.15 | 0.08 | 0.25 | 1M |
| DeepSeek-V4-Pro | 1.00 | 0.25 | 2.50 | 1M |
| gpt-oss-120b | 0.15 | 0.08 | 0.60 | 131K |
| Haiku 4.5 | 1.00 | 0.10 | 5.00 | 200K |
| Sonnet 4.6 | 3.00 | 0.30 | 15.00 | 1M |
| Opus 4.8 | 5.00 | 0.50 | 25.00 | 1M |
| Fable 5 | 10.00 | 1.00 | 50.00 | 1M（出力上限128K） |
価格やコンテキスト長は導入判断の入口にはなりますが、それだけでレビュー品質を予測できるわけではありません。
手法：同じ3ファイル・同じプロンプト・同じCodex監査
対象は実運用中の財務データパイプラインです。開示情報コレクター、取引所コレクター、財務指標抽出ツールの3ファイルに、同一の敵対的コードレビュープロンプトを与えました。外部API連携、CSVの読み書き、日時パース、構造化データからの財務数値抽出といった複雑さを含むため、読者は自分のコードベースとの近さを踏まえて読む必要があります。
各モデルの指摘を、別ベンダーのローカルCLIであるCodexがCONFIRMED、REFUTED、UNCERTAINへ監査しています。
3ファイルのうち1つには、Fableが修正する前のバージョンを渡しました。残り2ファイルは元研究時点から変更がありません。これにより、元研究と同じ条件で今回の7モデルにも調査を依頼しています。
| 項目 | 元研究 | 今回 |
|---|---|---|
| 実行形態 | Claude Codeのエージェントとして実行 | OpenAI互換chat completion APIへの単発呼び出し |
| ファイルアクセス | ファイルへの直接読み取りツールアクセスあり | ツールアクセスなし |
| コードの渡し方 | 実際の対象ファイルをリポジトリから読む | 対象ファイルの中身をプロンプト本文に直接埋め込む |
ここは結果を読むうえで最も重要な制約です。元研究のClaude 4モデルは、ファイルを直接読むツールアクセスを持つエージェントでした。一方、今回の7モデルはツールなしの単発API呼び出しで、コード本文をプロンプトへ埋め込んでいます。
したがって本稿は、Claudeとai&モデルの能力を公平に横並び比較する実験ではありません。低コストな単発APIが、実コードを埋め込んだレビューでどこまで有用な指摘に迫れるかを見るケーススタディです。また各モデル・各ファイルの評価は単発実行（N=1）です。
実コードを送る前に：ai&の利用規約を確認した
自社の実運用コードを新規ベンダーに送信するにあたり、ai& Inference API Terms of Service（2026-07-06付）を確認しました。
実コードを外部AIサービスへ渡す際は、一般的な利用規約だけでなく、Inference API向けの規約まで確認する必要があります。
素朴な読み方：生の指摘件数だけでは判断できない
生（Codex監査前に各モデルが自己申告した）の重要度ラベルや件数はモデルごとに付け方が異なり、誤検知や判断保留も混ざります。
| モデル | 生・重大 | 生・中 | 生・軽微 | 生指摘計 | 合計所要時間 |
|---|---|---|---|---|---|
| Qwen3.6-27B | 7 | 13 | 9 | 29 | 8分56秒 |
| Gemma-4-31B-it | 7 | 7 | 6 | 20 | 2分02秒 |
| Kimi-K2.7-Code | 11 | 23 | 15 | 49 | 7分14秒 |
| GLM-5.2 | 15 | 25 | 28 | 68 | 10分06秒 |
| DeepSeek-V4-Flash | 12 | 17 | 20 | 49 | 1分23秒 |
| DeepSeek-V4-Pro | 11 | 18 | 17 | 46 | 2分33秒 |
| gpt-oss-120b | 6 | 10 | 16 | 32 | 1分03秒 |
以降は、生の件数ではなく、同一基準で監査後に確認された件数を主指標にします。
Codex監査後：精度ランキング
精度は、確認済み ÷ 監査対象で定義します。UNCERTAINも監査対象の分母に含めます。
| モデル | 監査対象 | 確認済み | 却下 | 不明 | 精度 |
|---|---|---|---|---|---|
| GLM-5.2 | 67 | 57 | 8 | 2 | 85.1% |
| Kimi-K2.7-Code | 49 | 40 | 6 | 3 | 81.6% |
| DeepSeek-V4-Pro | 48 | 32 | 13 | 3 | 66.7% |
| Qwen3.6-27B | 29 | 19 | 10 | 0 | 65.5% |
| gpt-oss-120b | 32 | 20 | 10 | 1 | 62.5% |
| Gemma-4-31B-it | 20 | 11 | 9 | 0 | 55.0% |
| DeepSeek-V4-Flash | 48 | 25 | 19 | 4 | 52.1% |
GLM-5.2とKimi-K2.7-Codeが80%を超え、他の5モデルは52〜67%に集中しました。元研究の参考値では、Haiku 4.5が68%、Sonnet 4.6が93%、Opus 4.8が89%、Fable 5が98%でした。
GLM-5.2の85.1%は注目に値しますが、50,924トークンという大きな出力量を使った結果でもあります。今回の3ファイル・財務データ処理・単発評価という条件を離れれば、精度も出力量も変わり得ます。
確認済み指摘1件あたりのコスト：核心指標
レビュー運用では、総額よりも「確認済みの有用な指摘を1件得る費用」が扱いやすい指標です。
| モデル | プロンプト | キャッシュ済み | 出力 | 総コスト | 確認済み | $/確認済み1件 |
|---|---|---|---|---|---|---|
| Qwen3.6-27B | 34,935 | 0 | 23,847 | $0.0000 | 19 | $0.00000 |
| DeepSeek-V4-Flash | 34,488 | 16,768 | 16,313 | $0.0081 | 25 | $0.00032 |
| gpt-oss-120b | 32,342 | 32,342 | 11,747 | $0.0096 | 20 | $0.00048 |
| Gemma-4-31B-it | 38,869 | 0 | 4,194 | $0.0099 | 11 | $0.00090 |
| DeepSeek-V4-Pro | 34,488 | 34,304 | 17,471 | $0.0524 | 32 | $0.00164 |
| GLM-5.2 | 32,043 | 11,136 | 50,924 | $0.2238 | 57 | $0.00393 |
| Kimi-K2.7-Code | 32,054 | 0 | 50,172 | $0.1964 | 40 | $0.00491 |
参考として、元研究のClaude 4 tierではHaiku 4.5が$0.018、Sonnet 4.6が$0.034、Opus 4.8が$0.055、Fable 5が$0.068でした。
今回の条件では、7モデルはいずれもClaude最安のHaiku 4.5より低コストでした。最も高いKimiでも約3.7分の1、最も安いFlashは約56分の1です。
ただし、この比率はClaudeのエージェント型レビューとai&の単発APIレビューを比べたものです。公平な能力比較でも、将来の実費を保証する価格表でもありません。
価格表の差が、そのまま実際の費用差になるわけでもありません。入力、キャッシュ入力、出力の構成やキャッシュヒット量、出力量がモデルごとに異なるため、実効コスト差は価格差ほど広がりませんでした。
実験全体（7モデル×3ファイルの21回、502エラー等による再実行分を含む）で、ai&管理画面に表示された総使用料は¥170（約$1.1）でした。同程度のレビューセットを毎日100回、30日実行すると単純換算で月額約¥510,000です。これは予算感の概算であり、再実行回数、対象サイズ、出力トークン、キャッシュ率で大きく変動します。
参考までに、同じレビュー範囲をSonnet 4.6のみで行うと、1回あたり約$1.33（39件確認済み×$0.034）。同じ月100回×30日換算では約¥615,000となり、モデル数は1つだけなのに、ai&の7モデル合計より高くつく計算になります。
複数モデル併用の価値：ユニーク指摘と重要度
7モデルの確認済み指摘204件について、他の6モデルにも同じ根本原因の指摘があるかをCodexが自動照合しました。
| モデル | 確認済み | 重複 | ユニーク |
|---|---|---|---|
| GLM-5.2 | 57 | 45 | 12 |
| Kimi-K2.7-Code | 40 | 32 | 8 |
| DeepSeek-V4-Pro | 32 | 25 | 7 |
| DeepSeek-V4-Flash | 25 | 23 | 2 |
| gpt-oss-120b | 20 | 18 | 2 |
| Qwen3.6-27B | 19 | 18 | 1 |
| Gemma-4-31B-it | 11 | 10 | 1 |
| 合計 | 204 | 171 | 33 |
約6件に1件は、そのモデルだけが見つけた指摘でした。DeepSeek-V4-Pro、GLM-5.2、Kimi-K2.7-Codeのユニーク率は約20%前後で、精度ランキングとは異なる並びです。
| 重要度 | 件数 |
|---|---|
| 重大 | 1 |
| 中 | 11 |
| 軽微 | 21 |
| 合計 | 33 |
ユニーク指摘の多くは軽微〜中程度でしたが、重大バグも1件ありました。
- Kimi-K2.7-Code / 取引所コレクター：UTF-8 BOMが2種類の入力ファイルの先頭ヘッダー名を壊し、列マッチングを無効化する。
これは「低精度モデルが重大な見逃しを拾った」という単純な逆転ではありません。上位精度を示したKimiにも、他モデルが見逃した穴があったという結果です。
限界と実務上の結論
これは財務データ処理の3ファイルに対する単発評価です。別ドメインや反復実行へ、そのまま一般化することはできません。また精度・確認済み件数・ユニーク判定は、すべてCodexという単一監査ツールの判定に依存しています。
今回の条件では、GLM-5.2とKimi-K2.7-Codeは監査付きレビューの主力候補になり得ます。DeepSeek-V4-Proは、ユニーク発見の多さから併用時の取りこぼし防止役として検討できます。
選ぶべきなのは「最も賢いモデル」を一つ決めることではなく、確認済みの価値を低コストで増やし、見逃しを減らせるレビュー運用です。
ai& Inference: https://aiand.com/
モデル比較を行った記事
Fable 5 はコストに見合うだけの性能なのか 〜コードチェック編
クロス投稿しています。
Medium版はこちら
Substack版はこちら