前回、私はRTX 4070で動くローカルのQwen 3.5と3.6を、標準的な7問で比べました。結果は、速度は同じで、品質の差は見つけられないというものでした。両方とも全問正解で、答えの厚みもほぼ互角。理由は単純で、問題が易しすぎて両方とも満点に張りついた(ベンチマークの飽和)からです。
そこで宿題が残りました。易しいと飽和するなら、難しくすればいい。しかも画面に結果が出る課題なら、できの差が一目で分かる。
公式によれば、3.6の伸びはフロントエンド生成(QwenWebBench +43%)とコーディングに集中しています。ならばと、3.5と3.6にそれぞれテトリス・マンデルブロ集合・ライフゲームを「単一HTMLで書け」と投げ、出てきたものを実際にブラウザで動かして並べてみました。
ルール
- 同じ1つのプロンプトを3.5と3.6に投げる(温度0.3、思考モードはオフで統一)
- 出力は自己完結の単一HTMLファイル(インラインのCSS/JS)
- 推論は008の勝ち構成(
-ngl 99 --cpu-moe)。生成速度は両者とも約35 tok/s(VRAMをクリーンにして計測。前回ハマったSaladのVRAM占有を排除済み) - 生成物は私が手を加えず、Playwrightで実際にレンダリングしてスクリーンショット。テトリスはキー操作を十数回送って実際に積ませた
左が3.5、右が3.6です。
テトリス
「10x20盤面・7種テトリミノ・回転・ハードドロップ・ライン消し・スコア・NEXT表示・ゲームオーバー」を一度に要求しました。
両方とも一発で動きました。 キーで操作でき、ブロックが積まれ、NEXT表示もスコアも出ています。3.5はLEVELと操作説明パネルまで付け、3.6はLINESカウンタとS字ミノのNEXTを描画。UIの作りに個性は出ましたが、完成度はほぼ互角です。「AIにゲームを書かせる」定番課題を、ローカルの35Bが両世代ともきちんとこなしました。
マンデルブロ集合
「600x600以上のcanvasに描画し、発散回数で色分けしてカラフルに」と要求しました。
形はどちらも正確です。ここで初めて、わずかな差が出ました。3.5は背景がほぼ単色(緑)で、境界の発散グラデーションが弱い。一方3.6は境界に緑→黄→赤の色帯がはっきり出て、「発散回数で色分け」という指示をより素直に満たしています。今回いちばん世代差らしい差が見えたのがこの一枚でした。とはいえ、どちらもマンデルブロ集合と一目で分かる出来です。
ライフゲーム
「80x80以上のグリッド・ランダム初期配置・約10fpsでアニメーション」を要求しました。
これも両方とも問題なく動きました。セルが世代ごとに更新され、おなじみの安定形や振動子が現れています。3.5はFPS: 30 | Gen: 29というHUDを左上に出す気の利きよう、3.6はより高密度のグリッドで描画。やはり甲乙つけがたい結果でした。
結論: 難しくしても、見分けがつかなかった
正直に書きます。画面に出る難しめの課題にしても、3.5と3.6はほとんど見分けがつきませんでした。 唯一はっきり差が出たのはマンデルブロの配色くらいで、それも僅差。テトリスもライフも、両世代が一発で完成させてしまいました。
これは「3.6が3.5と同じ」という意味ではありません。前回見たとおり、公式ベンチでは3.6はTerminal-Bench +27%、フロントエンド +43%と確かに伸びています。ではなぜ手元で差が出ないのか。答えはおそらく、単発生成では伸びが見えないからです。
テトリスやマンデルブロは、有名すぎて学習データに豊富にあり、しかも「一回のプロンプトで完結する」課題です。そういう問題は、3.5の時点ですでに解けてしまう。公式の伸びが効くのは、複数ステップで試行錯誤する・既存リポジトリを読んで直す・長い文脈を保って反復するといった、エージェント的な仕事のはずです。Terminal-Benchがまさにそれです。
つまり今回の宿題は、半分解けて半分残りました。「画面に出る課題で差を見る」はやってみたが、単発の名作課題はもう難問ではなかった。世代差を本当に測りたいなら、次は単発生成をやめて、claw-codeのようなエージェントに複数ファイルのバグ修正や機能追加をやらせる必要があります。それが次の、本当の宿題です。
まとめ
- ローカルQwen 3.5と3.6に名作3つ(テトリス/マンデルブロ/ライフ)を単一HTMLで書かせ、実際にレンダリングして並べた
- 両世代とも一発で完成。差はマンデルブロの配色が3.6で一歩上、という僅差のみ
- 単発の有名課題は飽和していて世代差が出ない。公式の伸び(+27〜43%)はagentic(反復・repo規模)で出ると見られる
家庭用4070のローカル35Bが、世代を問わずテトリスを一発で書く。それ自体がもう、わりとすごい時代だと思います。あなたなら、3.5と3.6の差を炙り出すのに、どんな課題をぶつけますか。
📖 本記事を体系化した書籍(発売中)
本記事のような実測ノートを、Ollamaの 12.2 tok/s を -ngl 99 --cpu-moe で 34.6 tok/s(2.8倍)まで引き上げる勝ち構成から、KV キャッシュ量子化、Qwen 3.5 vs 3.6 の世代差、ローカル 35B のエージェント化まで、通しで 1 冊にまとめました。
RTX 4070 で Qwen 35B を 2.8 倍速くする ― 自分の数字を疑え、実測ノート
序章 + 第1章 + 第2章は無料公開中(¥1,200)。
無料の 12 枚スライド版もあります: