MiniMax M3とDeepSeek V4-Proを19問で比較した：正解しているのに判定が落ちる理由

カバーは本比較のテーマを示すイメージです。製品画面のスクリーンショットではありません。

背景

2つのモデルを同じ入口・同じパラメータで19問走らせて比較しました。

結論から書くと、コード修正・実装・ツール連携の9問は両方とも全問通過しました。ただし、この小さなテストだけで一般的なコーディング能力が互角とは言えません。

差の一つは出力の形でした。MiniMax M3は思考プロセスと最終回答を同じcontentフィールドに返すことがあり、厳密な形式を求める問題では、回答内容だけでなく出力全体が判定に影響しました。

この記事は、その現象の測り方と、実務でどう扱うかをまとめたものです。

環境とバージョン

項目	値
入口	api.crazyrouter.com/v1
エンドポイント	/chat/completions
モデル	MiniMax-M3 / deepseek-v4-pro
最大出力トークン	8192
最大ターン数	単発2、実装系8〜10、長文6
ツール	ファイル読取・書込・Python実行・完了宣言
実行日	2026年10月20日

19問は7カテゴリに分け、重みは実務で遭遇頻度の高い順に設定しました。

カテゴリ	問数	重み	判定方法
コード修正	3	20%	テスト実行、終了コード0
ゼロ実装	3	20%	テスト実行、終了コード0
ツール連携	3	20%	テスト実行、終了コード0
リポジトリQA	3	10%	指定値の出現
指示追従	3	10%	厳密JSON解析・正規表現
誤誘導耐性	2	10%	前提の誤りを指摘できるか
長文コンテキスト	2	10%	埋め込んだ値の抽出

実装系の問題は実際に動く小さなプロジェクトです。バグ入りのソースとテストファイルを置き、モデル自身にファイルを読み書きさせ、テストが通るまで修正させます。判定はテストファイルの実行結果そのもので、文章の見た目は評価しません。

結果

19問を1問ずつ自動判定しました（2026年10月20日実測）。

カテゴリ	重み	MiniMax M3	DeepSeek V4-Pro
コード修正	20%	3/3	3/3
ゼロ実装	20%	3/3	3/3
ツール連携	20%	3/3	3/3
リポジトリQA	10%	3/3	3/3
指示追従	10%	0/3	3/3
誤誘導耐性	10%	2/2	2/2
長文コンテキスト	10%	1/2	1/2
加重合計	100%	0.850	0.950

「指示追従」の0対3が目を引きます。出力形式が判定に影響した一方、これだけで能力差の有無までは結論できません。

落とし穴：思考ブロックが本文に混ざる

M3の応答を1件ずつ分解して、思考が本文に混ざっているか調べました。

19問すべてで、少なくとも1ターンは思考が本文に混入していました。V4-Proは0問です。

偶発的なものではなく、既定の挙動です。

影響が最も大きいのは書式指定のある問題でした。次の3問は原始出力の判定ですべて不合格でした。

• 厳密なJSONを1つだけ出力する問題
• 3つの単語をパイプ区切りで出力する問題
• 定数の値だけを答える問題

保存記録を確認すると、最初の2問は要求された内容が含まれていましたが、前に思考テキストが混ざっていました。3問目は思考ブロックが閉じておらず、答えを確実に取り出せません。したがって「思考を除けば3問とも通過」とは言えません。

検出と除去

判定の第一歩は文字列比較ではなく、応答を「本文」と「思考」に分けることです。ここで最も見落とされやすいのが、閉じていない思考ブロックです。開始タグと終了タグの間を取るだけの実装では、終了タグがない応答を本文ごと思考として扱ってしまいます。正しい扱いは、開始タグがあり終了タグがない場合、開始タグから末尾までをすべて思考とみなし、その手前だけを本文とすることです。

応答を見るときに確認すべき点は4つです。

確認項目	望ましい状態	問題のある状態
思考専用フィールドの有無	ある	ない（本文に混ざる）
本文中の思考タグ	出ない	<think>などが出る
思考の閉塞	開始と終了が揃う	開始だけで終わる
思考除去後の本文量	実質的な内容がある	ほぼゼロ（未回答）

これは接続前の確認項目です。思考が本文に混ざる場合は、実際の応答で除去ルールを検証してください。特に、開始タグだけで終わる未閉塞ブロックを通常の本文として扱わないことが重要です。

もう一方のモデルの弱点

V4-Proが万能というわけでもありません。長文カテゴリで1問落としています。

400行の運用ログから288行目にある鍵を探す問題です。M3は見つけて正しい値を返しました。V4-Proは6ターンすべてをファイル読み取りに使い、累計42766入力トークンを消費したまま本文を1行も返しませんでした。

誤答ではなく、止まれなかったのです。

この失敗はベンチマーク表に出てきません。誤った答えすら返していないからです。しかし実際には請求と待ち時間として残ります。4万トークン以上を払って空文字列を受け取ることになります。

速度とコスト

各問の全ターンを含む合計時間です。単一リクエストのレイテンシではありません。

指標	MiniMax M3	DeepSeek V4-Pro
1問あたり平均時間	29.1秒	11.7秒
1問あたり平均ターン数	4.1	2.9
入力単価（100万トークン）	0.30ドル	0.67ドル
出力単価（100万トークン）	1.20ドル	2.00ドル
19問の実測コスト	0.061ドル	0.074ドル

この実行では、M3の平均ターン数は4.1、V4-Proは2.9でした。平均所要時間の差にはターン数以外の要因も含まれます。対話型製品では、今回の11.7秒と29.1秒の差が待ち時間に影響します。

今回の総額はM3が0.061ドル、V4-Proが0.074ドルで、M3の方が約17.6%低くなりました。単価だけでは総額を予測できず、別のタスクでは比率が変わる可能性があります。

ここで1つ、自分の誤りを訂正しておきます。事前に小さなバグ修正問題を1問だけ試したところ、V4-Proが1600以上の思考トークンを消費し、単価換算で10.6倍になりました。それを根拠にしそうになりましたが、19問規模では成立しません。1問では10倍の差が出ても、19問では同じ水準になります。

どちらを選ぶか

どんな人・用途か	まず試す候補	この実測から言えること
API開発者。回答をJSON解析や自動処理に渡す	DeepSeek V4-Pro	今回は固定形式の3問を通過。自分のAPI契約でも検証する
チャット製品の担当者。待ち時間を短くしたい	DeepSeek V4-Proから試す	今回の全ターン合計時間は平均11.7秒。M3は29.1秒
夜間バッチを運用し、費用を抑えたいチーム	MiniMax M3も候補に入れて小規模検証	今回は総額が約17.6%低かった。自分の仕事で完了結果あたりの費用を比べる
コード修正、実装、ツール連携をする開発者	どちらも候補	この9問は両方通過。優劣を決める材料にはならない
長いログや資料を探す分析担当者	今回は勝者なし	両方1/2で、通過した問題が異なる。実データで再テストする
M3を本番利用中で、出力をプログラムで処理する人	まず出力契約を確認	思考フィールドとブロックの閉じ方を検証し、未閉塞なら回答を無効扱いにする

最後の項目を補足します。今回の検証はOpenAI互換エンドポイント経由です。M3のネイティブなプロトコルで思考が独立したフィールドになるかは未検証です。未閉塞の思考ブロックは安全に回答部分を分離できないため、検証が済むまではタグを機械的に除去せず、その応答を利用不可として扱ってください。

両モデルは同じプラットフォーム上で同じキーを共有しており、切り替えはモデル名の変更だけです。試すコストが低いので、実トラフィックで4項目を確認するのが早いと思います。

まとめ

• コード修正・実装・ツール連携の9問は両方通過。ただし一般的な能力差を示す結果ではない
• 差は出力の形。M3は思考が本文に混入し、19問すべてで発生
• 書式指定の3問は原始出力で不合格。内容を確認できたのは2問で、残り1問は回答を確実に抽出できない
• V4-Proは高速だが、長文で止まれず本文を返さない失敗がある
• 選定では正答率だけでなく、思考が本文に混ざらないかを確認する

APIにそのまま接続する人、または応答速度を重視する人はV4-Proから試すのが妥当です。バッチ費用を抑えたい人はM3を自分のタスクで小さく検証してください。長文書を扱う人には今回の結果で推奨できる勝者がいません。最終判断では、正答率だけでなく「そのまま使える出力」の割合、完了までの時間、完了結果あたりの費用を比べてください。

---

本記事のデータは2026年10月20日時点の実測です。各問1回のみの実行で、傾向を見るには十分ですが小数第2位の議論には足りません。