DeepSeek-V4-Flash の公式 API がパブリックベータになりました。公開されたベンチマーク表を眺めていて、公告文よりも表そのものが面白かったので整理します。
Flash が Pro を全項目で上回っている
まず目を引くのはここです。V4-Flash-0731 と V4-Pro-Preview を比べると、9 項目すべてで Flash が勝っています。
| ベンチマーク | V4-Flash-0731 | V4-Pro-Preview | 差 |
|---|---|---|---|
| Terminal Bench 2.1 | 82.7 | 72.1 | +10.6 |
| NL2Repo | 54.2 | 38.5 | +15.7 |
| Cybergym | 76.7 | 52.7 | +24.0 |
| DeepSWE | 54.4 | 12.8 | +41.6 |
| Toolathlon-Verified | 70.3 | 55.9 | +14.4 |
| Agents' Last Exam | 25.2 | 16.5 | +8.7 |
| AutomationBench | 25.1 | 12.8 | +12.3 |
| DSBench-FullStack | 68.7 | 41.8 | +26.9 |
| DSBench-Hard | 59.6 | 31.1 | +28.5 |
DeepSWE の 12.8 → 54.4 は 4 倍以上です。Preview 版の 7.3 から見ると 7 倍。命名上は「軽量版」であっても、世代が変われば上位モデルを追い越すということで、モデル選定を「Pro だから上」で決めている場合は見直しが必要かもしれません。
Opus-4.8 との比較は項目によって逆転する
対 Opus-4.8 だと様子が変わります。
- Terminal Bench 2.1: 82.7 vs 85.0（差 2.3）
- Agents' Last Exam: 25.2 vs 25.7（差 0.5）
- NL2Repo: 54.2 vs 69.7（差 15.5）
- DSBench-Hard: 59.6 vs 71.7（差 12.1）
ターミナル操作やエージェントタスクではほぼ並んでいるのに、リポジトリ生成系では 15 ポイント以上開きます。「どちらが強いか」ではなく「何をさせるか」で決まる、という当たり前の結論に戻ってくるわけですが、表を見ないとこの逆転には気づけません。
表の脚注は本文より重要
ここが実務上いちばん効きます。脚注にこう書かれています。
For public Code Agent tasks, V4-Flash was tested using our upcoming DeepSeek Harness (minimal mode) framework. Settings: max tier, topp=0.95, temperature=1.0.
つまり公開 Code Agent タスクのスコアは DeepSeek 自社の未公開ハーネスで測ったものです。エージェント系ベンチマークはハーネスの実装（リトライ、ツール定義、コンテキスト管理）でスコアが大きく動くので、他社が別のハーネスで出した数値とは厳密には並べられません。
もうひとつ、DSBench-FullStack と DSBench-Hard は DeepSeek の社内ベンチマークセットです。第三者が再現できないので、他モデルとの相対比較としては参考値として扱うのが妥当でしょう。
これは DeepSeek が不誠実という話ではなく（脚注に明記してあるのは誠実な方です）、エージェント系ベンチマークの比較可能性がまだ低いという構造的な問題です。
結論として
- Flash 系が Pro 系を追い越すことは起きる。世代が違えばグレード名は当てにならない
- 全項目を制するモデルは表の中に存在しない
- 自分のワークロードに対応する行だけ見て、残りは無視していい
- ハーネス差があるので、最終的には自分の環境で回すしかない
Responses API 形式にネイティブ対応して Codex から使える、というのも今回のリリースの実務的なポイントです。
開示：筆者は複数モデルを 1 つの OpenAI 互換 API で扱うゲートウェイ velokey.ai を開発しており、V4-Flash も利用可能です。ポジショントークが混じっている前提で読んでください。