GLM-5.3 vs GLM-5.2：高難度6課題を実 API で比較した
glm-5.3 と glm-5.2 を同一プロンプト・同一温度・同一出力予算で比較しました。評価対象は、極難数学、Simpson のパラドックス、最小 UNSAT コア、ネスト JSON、多段階物理、依存関係付き最適化コードです。
初回提出の結果は GLM-5.3 が 4/6、GLM-5.2 が 2/6 でした。ただしコード課題では GLM-5.2 だけが隠しテストに合格しています。
条件
POST https://cn.crazyrouter.com/v1/chat/completions
temperature = 0.2
tools = disabled
再試行は原因分析にだけ使い、初回スコアには加えていません。
結果
| 課題 | GLM-5.3 | GLM-5.2 |
|---|---|---|
| 不等確率 coupon collector | 9k で本文なし | 9k で本文なし |
| Simpson 因果推論 | 合格 | 6k で本文なし |
| 最小 UNSAT コア | 厳密 JSON で合格 | 5k で本文なし |
| ネスト JSON | 合格 | 合格 |
| 滑車・弛んだロープ・ばね | 合格 | 14k で本文なし |
| 依存関係付き最適化 | 16k で本文なし | 隠しテスト合格 |
重要だった差分
GLM-5.3 は Simpson の反転を正しく説明し、50/50 標準化で A=0.8305、B=0.7771 を得ました。多段階物理でも a≈0.847、v1≈1.59、v2≈1.18、x≈0.0835 をすべて満たしました。
一方、コード課題では GLM-5.2 が完全な Python ファイルを返し、推移的依存、日別容量、value/risk/辞書順の tie-break、存在しない依存、循環依存を含む隠しテストに合格しました。
GLM-5.3 は 24k 再試行でコードを出力できましたが、value 24 の集合を選び、正しい最適値 29 を逃しました。つまり、出力予算を増やしてもアルゴリズムの正しさは保証されません。
実装上の教訓
-
HTTP 200だけで成功判定しない。 -
finish_reasonと可視本文の長さを確認する。 - JSON は parse と schema 検証を行う。
- 生成コードは隔離環境で実行する。
- 初回成功率と再試行後成功率を分ける。
- モデル選択は課題タイプ別に行う。
今回の結果では、複雑な推論と物理は GLM-5.3、実行可能な最適化コードは GLM-5.2 が有利でした。単純な世代交代ではなく、検証付きルーティングが必要です。