0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

なぜ32Bより小さい27Bが1位なのか|whichllmのRTX 4090例 92.8点と83.0点

0
Last updated at Posted at 2026-11-19

なぜ32Bより小さい27Bが1位なのか|whichllmのRTX 4090例 92.8点と83.0点|グラレコ要約

📺 この記事は YouTube チャンネル きなこもっちーのテック深掘り の動画解説記事です。
▶️ 動画はこちら → なぜ32Bより小さい27Bが1位なのか|whichllmのRTX 4090例 92.8点と83.0点

🐹🦜 この記事に登場する2匹

  • 🐹 もっちー (ハムスター)… AI はまだ勉強中。「それどういうこと?」と素朴に質問する生徒役
  • 🦜 きなこ (セキセイインコ)… AI で調べものをこなす解説役。やさしく深掘りして教える先生役

この記事は2匹の掛け合いを書き起こした形式です。発言の先頭にいる絵文字+名前が話者です。

はじめに

🐹 もっちー「ねえきなこ、ローカルでAIを動かすなら、VRAMに収まる一番大きいモデルを選べばいいんでしょ?」

🦜 きなこ「そう思うよね。でも、whichllmっていうツールの作者は、そこをはっきり否定してるの」

🐹 もっちー「否定?大きいほうが賢いに決まってるやん!」

whichllm作者のRTX 4090(24GB)例:1位 Qwen3.6-27B(Q5_K_M)92.8点/2位 Qwen3-32B(Q4_K_M)83.0点

🦜 きなこ「作者の例だと、24GBのRTX 4090で1位はQwen3.6-27Bで92.8点。カードに収まる32Bは83.0点で2位なの」

🐹 もっちー「えっ、小さいほうが勝ってるの?」

決め手は2つ:実際のベンチマークの成績/世代の新しさ

🦜 きなこ「作者によると、決め手は大きさじゃなくて、実際のベンチマーク成績と世代の新しさなんだよ」

🐹 もっちー「じゃあ、大きさって全然関係ないの?」

🦜 きなこ「ううん、点数には入ってる。どれだけ効くのか、順位をどこまで信じていいのか見ていくね」

whichllmは何を見て順位をつける?

公式の記録で確認:whichllmの初回公開は2026年3月・統合するベンチマークは6種類

🦜 きなこ「白状するとね、私、最初はこのツールを、2026年6月に出たばかりで、ベンチマークを4種類まとめたものだと読んでたの」

PyPIの公開記録:初回 0.1.0(2026年3月)/最新 0.5.20(2026年10月)

🦜 きなこ「でも公式の記録を見たら、見立て違いだった。Pythonの道具の公式の棚、PyPIだと最初の公開は2026年3月で、最新版は0.5.20なの」

🐹 もっちー「じゃあ、ベンチマークは本当は何種類なの?」

whichllmが統合する6種:LiveBench/Artificial Analysis/Aider/画像理解(Vision)/Arena ELO/Open LLM Leaderboard

🦜 きなこ「6種類。LiveBench、Artificial Analysis、Aider、画像の理解の指標、Arena ELO、Open LLM Leaderboardだよ」

🐹 もっちー「多っ!それ全部、今のモデルの成績なん?」

現役データ:LiveBench・Artificial Analysis・Aider/凍結データ:Open LLM Leaderboard v2・Arena ELO

🦜 きなこ「そこがポイント。Arena ELOとOpen LLM Leaderboard v2は、昔の記録を固めた凍結データとして扱われてるの」

🐹 もっちー「なんでわざわざ固めちゃうの?古い成績なら、捨てちゃえばいいのに」

凍結の理由:2024年ごろのランキングによる旧世代モデルの過大評価を防ぐ(0.5.1で導入)

🦜 きなこ「公式の説明だと、2024年ごろのランキングが、古い世代のモデルを高く見すぎるのを防ぐためなの」

🦜 きなこ「新しい成績と古い成績を分けて、それぞれに別々の上限を付けてるんだよ」

🐹 もっちー「ってことは、古いテストの点で、昔のモデルが上に来すぎないようにしてるってこと?」

🦜 きなこ「そういうこと。モデルの系統ごとに、古い成績の効き目を下げる仕組みもあるんだよ」

LiveBench:問題を毎月追加・正解値で自動採点(arXiv:2406.19314)

🦜 きなこ「ちなみにLiveBenchは、問題を毎月足していく設計で、答えを機械的に採点するテストなの」

🐹 もっちー「答えを丸暗記されにくいテストってことか!」

自動検出:GPU/CPU/RAM(NVIDIA・AMD・Intel・Apple Silicon・CPUのみ)→ 動かせるモデルを順位づけ

🦜 きなこ「うん。それに、PCのGPUやメモリを自動で調べて、そのマシンで動かせるモデルを、動かし方まで考えて並べてくれるんだよ」

🐹 もっちー「なるほどね。成績表をいっぱい集めて、一番点がいいモデルを選んでくれる仕組みなんだ」

大きさは何点ぶん?

スコアの中で、モデルの大きさは何点ぶん?

🐹 もっちー「でもさ、結局モデルが大きいほど、点数もどんどん上がるんでしょ?」

🦜 きなこ「そう思うよね。whichllmも、大きさを物知り度の目安として、ちゃんと点数に入れてるの」

スコア(0〜100点)の内訳:ベンチマーク品質+大きさ(最大35点・log2スケール)

🦜 きなこ「でも、大きさの点は最大35点まで。しかも大きくなるほど、点の増え方がゆるやかになる計算なんだよ」

🐹 もっちー「100点満点のうち35点か。じゃあ、残りはどこから来るの?」

🦜 きなこ「土台はベンチマークの成績。そこに、掛け算の割引がかかるの」

🐹 もっちー「割引?セールみたいに?」

掛け算の割引:一部をメインメモリへ逃がす(部分オフロード)×0.72/CPUだけ ×0.50

🦜 きなこ「逆セールかな。READMEの表だと、VRAMに乗りきらず一部をメインメモリに逃がすと0.72を掛ける。CPUだけなら0.5なの」

🐹 もっちー「CPUだけやと半分!?はみ出したら損するやん!」

🦜 きなこ「そうなの。ただ、ちょっとはみ出すだけなら割引をゆるめる調整が、0.5.10で入ってるんだよ」

ほかの割引:ベンチマークなし・自己申告だけ ×0.55/ビット数の少ない量子化にも割引

🦜 きなこ「それから、成績の証拠が自己申告だけのモデルも0.55倍。ビット数を減らした量子化にも、割引がかかるの」

🐹 もっちー「量子化ってなに?」

🦜 きなこ「モデルの中の数字を、細かさを落として小さく保存することだよ」

Gemma 3 27Bの重み(Google発表):BF16 54GB → int4 14.1GB(KVキャッシュは別)

🦜 きなこ「Googleの発表だと、Gemma 3の27Bは、重みだけでBF16なら54GB。4bitにすると14.1GBになるの」

🐹 もっちー「4分の1くらいやん!写真の画質を落として、容量を減らすようなもんやな!」

点数の調整:速さ ±8点/出どころの信頼度 ±5点(公式の組織はボーナス)

🦜 きなこ「いいたとえ。あと、速さでプラスマイナス8点、出どころの信頼度でプラスマイナス5点の調整もあるの」

🐹 もっちー「ってことは、大きさは35点までの加点で、削ったり詰め込みすぎたりすると、掛け算で減っちゃうのか」

なぜ27Bが32Bに勝った?

27B・32Bの「B」=パラメータ数(10億単位):Qwen3.6-27B は 27.8B/Qwen3-32B は 32.0B

🐹 もっちー「そもそも、27Bとか32Bの数字って何なの?」

🦜 きなこ「パラメータっていう、モデルの中の数字の数。Bは10億で、名前の27Bは約270億個ってことなの。大きさだけなら32Bが上なんだよ」

なぜ小さい27Bが、大きい32Bより上?

🐹 もっちー「なのに、なんで小さい27Bが勝てるの?」

🦜 きなこ「作者の説明だと、27Bのほうが実際のベンチマークの点が高くて、世代も新しいからなの」

🐹 もっちー「世代ってどういうこと?」

Qwen3-32B(前の世代)→ Qwen3.6-27B(新しい世代)

🦜 きなこ「Qwen3.6-27Bは、Qwen3-32Bより新しい世代のモデルなの。同じQwenの名前でも、出た時期が違うんだよ」

🐹 もっちー「回し車も、大きくて古いのより、新しいののほうがスイスイ回ったりするもんね!」

量子化の違い:Qwen3.6-27B=Q5_K_M/Qwen3-32B=Q4_K_M

🦜 きなこ「近いね。それと、並んでる量子化の形式も違うの。27BはQ5_K_M、32BはQ4_K_Mなんだよ」

🐹 もっちー「Q5とQ4って、何が違うの?」

🦜 きなこ「ざっくり言うと、数字が大きいほど細かさを多く残してる目安。さっきの割引の話につながるの」

🐹 もっちー「じゃあ、32Bは削りすぎたから負けたってこと?」

READMEが挙げる27B 1位の理由:①実際のベンチマークの成績 ②新しい世代(量子化の寄与は記載なし)

🦜 きなこ「そこは言い切れないの。READMEが挙げてる理由は、成績と世代の2つ。量子化がどれだけ効いたかまでは書いてないんだよ」

🐹 もっちー「じゃあ、量子化の違いは、おまけくらいに見ておけばいいの?」

🦜 きなこ「おまけとまでは言えないの。効き方が分からないだけで、割引自体はちゃんとかかってるからね」

RTX 4090例の上位3:①Qwen3.6-27B 92.8点・27 t/s ②Qwen3-32B 83.0点・31 t/s ③Qwen3-30B-A3B(MoE)82.7点・102 t/s

🦜 きなこ「ちなみに3位はQwen3-30B-A3Bで82.7点。こっちは文字のかたまりを1秒に102個も出せるの」

🐹 もっちー「102!?ワイなら速いほうがええな、待つの苦手やし!」

🦜 きなこ「そこは使い方次第だね。点数は1位より10点くらい低くても、速さは4倍近いから、速さを取るのもアリなの」

大きいのを削って詰めるのは損?

大きいモデルを削って詰めるのは損?

🐹 もっちー「でもさ、量子化で割引されるなら、大きいモデルを削って詰め込むのはやめたほうがいいの?頭も悪くなりそうだし」

🦜 きなこ「そう思うのも自然だよ。画質を落とした写真みたいに、賢さも荒くなりそうだもんね」

🦜 きなこ「でも研究を見ると、話はそう単純じゃないの」

Dettmers & Zettlemoyer(2022):モデル全体のビット数が同じなら、4bitがほぼ常に最適(ゼロショット精度)

🦜 きなこ「2022年の論文では、使うメモリの量が同じなら、4bitにした大きいモデルのほうが、正解率でほぼ常に有利だったんだよ」

🐹 もっちー「えっ、じゃあ『収まる一番大きいのを選ぶ』って、合ってるやん!」

🦜 きなこ「半分はね。ただ、その論文が調べたのは、BLOOMやOPTみたいな、少し前の世代のモデルなの」

🐹 もっちー「最近のモデルだと、どうなの?」

推論モデルの量子化(arXiv:2504.04823):32B・4bit重みのみ → 平均の低下 AWQ 0.4/GPTQ 1.9ポイント

🦜 きなこ「2025年の別の研究だと、32Bの推論モデルは、4bitの重みだけの量子化なら、平均の落ち幅が2ポイント未満だったの」

🐹 もっちー「2ポイントなら、ほとんど変わらないね」

3bit重みのみ:1.5B → 低下 AWQ 18.6/GPTQ 7.6ポイント、32B → 3.9/5.1ポイント

🦜 きなこ「でも3bitまで削ると話が変わるの。1.5Bの小さいモデルだと、方式によっては18ポイント以上も落ちたんだよ」

🐹 もっちー「18ポイント!?小さいモデルを削りすぎると、そんなに落ちるんだ…」

🦜 きなこ「小さいモデルほど、量子化の影響を受けやすいって結果なの」

注意:vLLM系のGPTQ/AWQでの計測(Ollamaなどで使うGGUFの直接計測ではない)

🦜 きなこ「ただ、Ollamaでよく使うGGUFとは別の方式で測った数字だから、そのまま当てはめないでね」

🐹 もっちー「ってことは、4bitくらいまでなら、大きいのを削って入れるのもアリってこと?」

🦜 きなこ「32Bくらいの大きいモデルなら、そう読める結果なの。でも大きさだけで決めると、さっきの27Bみたいに世代で順位が入れ替わるのを見落とすの」

この順位、どこまで信じる?

この順位、どこまで信じていい?

🐹 もっちー「よし、whichllmが1位って言ったモデルを入れれば、間違いなしだね!」

確認できたこと:作者のRTX 4090(24GB)例(2026年5月時点)/確認できなかったこと:第三者による検証・12GB/16GB帯の推奨

🦜 きなこ「そこはちょっと待って。27Bが32Bに勝つ例は、作者自身がREADMEに載せてる、2026年5月時点の例なの」

🦜 きなこ「別の人が実際に試して、順位どおりだったか確かめた報告は、私が調べた範囲では見つからなかったんだよ」

🐹 もっちー「作者さんのおすすめ例、ってことか」

VRAM 12GB/16GBで何が1位になるか:今回の調査では未確認(確認できたのは24GBの例だけ)

🦜 きなこ「それに、12GBや16GBのGPUで何が1位になるかも、今回は確認できてないの」

🐹 もっちー「えー、そこが一番知りたいのに…」

🦜 きなこ「もう一つ、点数の材料そのものも動くの」

Artificial Analysis Intelligence Index の版:v4.0(2026年1月)→ v4.1(6〜8月)→ v4.2(9月)→ v4.3(9月)→ 現行 v4.3.2(2026年10月8日時点)

🦜 きなこ「たとえばArtificial Analysisの指標は、2026年10月8日時点でv4.3.2。9月だけでも、版が何度か変わってるんだよ」

🐹 もっちー「whichllmは、そのどの版を使ってるの?」

🦜 きなこ「そこは今回、確認できてないの」

whichllm 0.5.20:Artificial Analysisの最新スコアを保存値より優先(使っているAA指標の版は未確認)

🦜 きなこ「ただ、whichllmは0.5.20から、ネットで取れたArtificial Analysisの最新の点を、前の点より優先するようになったの」

🐹 もっちー「ってことは、日が変わったら、順位も入れ替わるかもしれないんだ」

🦜 きなこ「うん、その可能性はあるの。同じPCでも、データが更新されれば点数が変わるからね」

🐹 もっちー「エサ皿みたいに、毎日中身を確かめるものなんだね」

whichllmの順位=答えではなく、候補をしぼるための地図

🦜 きなこ「そういうこと。順位は答えじゃなくて、候補をしぼるための地図くらいに思っておくのがちょうどいいの」

まとめ

ローカルLLMの選び方チェック:①実際のベンチマークの成績 ②世代の新しさ ③VRAMに乗りきるか ④量子化のビット数(3bitは落ちやすい)⑤順位は更新で動く

🦜 きなこ「まとめるね。whichllmが見てるのは大きさだけじゃなくて、ベンチマークの成績、世代、動かし方、量子化の細かさなの」

🦜 きなこ「大きさは、最大35点ぶんの材料の一つ。削るなら、3bitまで下げると落ちやすいことも覚えておいてね」

🐹 もっちー「これ保存しとこ!順位はそのまま信じこまない、っと」

今日の1アクション:whichllmで自分のGPUを指定 → 1位と、一番大きいモデルの順位を見比べる

🦜 きなこ「完璧。今日から1個だけ試すなら、whichllmで自分のGPUを指定して、1位と一番大きいモデルの順位を見比べてみて」

🐹 もっちー「見比べるだけか。それならぼくでもできそう!」

コメントで教えて:あなたのPCでは1位と一番大きいモデルは同じ?違った理由は世代?量子化?

🦜 きなこ「みんなのPCでは、1位と一番大きいモデルは同じだった?違ったら、理由が世代なのか量子化なのか、コメントで教えてね」

🐹 もっちー「飼い主、また新しいグラボ買おうとしてへん?回し車の予算はどこ行ったん」

🦜 きなこ「その前に、今のPCで十分かどうか、確かめてほしいよね」

🐹 もっちー「ほんで、ワイのひまわりの種の予算も、ちゃんと残しといてな!」

いつか深掘り:同じモデルでもQ4_K_MとQ5_K_Mで速さ・賢さはどう変わる?

🦜 きなこ「ちなみに、同じモデルでもQ4_K_MとQ5_K_Mで、速さや賢さがどう変わるのかは、いつか別の動画で深掘りしたいな」

🐹 もっちー「それも気になる!」


きなこもっちーのテック深掘り では、AI/LLM を中心としたテック全般をハムスター(🐹 もっちー)とセキセイインコ(🦜 きなこ)の掛け合いで楽しく解説しています。

▶️ 動画で観る → なぜ32Bより小さい27Bが1位なのか|whichllmのRTX 4090例 92.8点と83.0点

👍 この記事が役に立ったら LGTM・ストックしてもらえると励みになります!

📺 チャンネル登録はこちら → きなこもっちーのテック深掘り

🔗 他の解説動画も見る → きなこもっちーのテック深掘り の動画一覧

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?