📺 この記事は YouTube チャンネル きなこもっちーのテック深掘り の動画解説記事です。
▶️ 動画はこちら → 中国AIがClaudeに勝った？Kimi K3『76%』の数字に潜むベンチマークの罠
🐹🦜 この記事に登場する2匹
- 🐹 もっちー （ハムスター）… AI はまだ勉強中。「それどういうこと？」と素朴に質問する生徒役
- 🦜 きなこ （セキセイインコ）… AI で調べものをこなす解説役。やさしく深掘りして教える先生役
この記事は2匹の掛け合いを書き起こした形式です。発言の先頭にいる絵文字＋名前が話者です。
はじめに
🐹 もっちー「ねえきなこ、中国のAIってさ、結局アメリカの猿真似でしょ？」
🦜 きなこ「実はそれ、もう古い話になりつつあるんだよね」
🐹 もっちー「え、どういうこと？」
🦜 きなこ「今日はね、無料で公開された中国製のAIが、有料の最新Claudeを投票形式のコード対決で打ち負かしたっていう話をするよ」
🐹 もっちー「マジで！？その中国AIって何て名前なん！？」
🦜 きなこ「Kimi K3っていうんだけどね、でもその『勝った』っていう数字、実は読み方を間違えるとぜんぜん違う話になるの」
🐹 もっちー「え、どういうこと！？めっちゃ気になるやん」
🦜 きなこ「その罠を、順番に一緒に暴いていこうね」
Kimi K3って何者？
🐹 もっちー「ねえきなこ、さっきからぼく引っかかってるんだけど、そのKimi K3って結局どこがそんなにすごいの？」
🦜 きなこ「じゃあまず、数字を一個だけ言うね。総パラメータ、2.8兆なの。」
🐹 もっちー「2.8兆！？ワイ、その桁もう数えられへんで！ゼロいくつやねん！」
🦜 きなこ「桁で言うと2兆8000億。今まで公開された中で、いちばん大きいオープンなモデルなんだよ。」
🐹 もっちー「でもさ、そんなにデカかったら動かすの大変じゃないの？ぼくのスマホ、火ぃ噴かない？」
🦜 きなこ「そこがおもしろいところで、実際に一回の返事で使われるのは、そのうち約1040億だけなの。」
🐹 もっちー「え、待って。2.8兆も持ってるのに、実際に使うのは1040億だけなの？残りはどこ行っちゃったの？」
🦜 きなこ「余ってるんじゃなくて、ちゃんと待機してるの。大きな病院を想像してみて。」
🦜 きなこ「先生が896人いても、風邪の患者さんに全員は出てこないよね。担当の数人だけが診てくれるの。」
🐹 もっちー「あー、受付の人が症状をちゃんと見極めて、合う先生のところに回してくれるってこと？」
🦜 きなこ「そう。K3は質問ごとに16人を選んで、いつもいる2人を足して動かすんだよ。」
🦜 きなこ「この『必要な専門家だけ起こす』仕組み、ちゃんと名前があってね。MoE、混合エキスパートっていうの。」
🐹 もっちー「モエ？ぼくはてっきり、残り全員はさぼらせて休憩させとく作戦なんだと思ってたよ。」
🦜 きなこ「サボりじゃなくて省エネなの。全員動かすより、ずっと軽くて速く答えられるんだよ。」
🐹 もっちー「なるほどなあ。で、その頭のよさ以外に、なんかできること増えたの？」
🦜 きなこ「一度に読める量もすごくて、104万トークン。分厚い本を何冊もまとめて渡せる感じなの。」
🐹 もっちー「本を何冊も丸ごと！？ワイの家電の説明書、全部読んでもらえるやんか！」
🦜 きなこ「しかも文字も画像も動画も、同じモデルがそのまま見られるの。目まで最初からついてるんだよ。」
🦜 きなこ「おまけに考えるモードは常にオン。K3は聞かれたら、必ず一回じっくり考えてから答えるの。」
🦜 きなこ「ただね、このスペック自体はウソじゃない。問題は、それがそのままArenaの結果に直結してるかどうかなんだよ。」
Frontend Code Arenaで何が起きたか
🦜 きなこ「実はこのスペック、まだ何の証明にもなってないの。証明はここから、実際の評価で始まるんだよ」
🐹 もっちー「ふろんとえんど……こーど……ありーな？ また知らない言葉だよ。ぼく毛繕いしたい」
🦜 きなこ「落ち着いて。フロントエンドはWebサイトの見た目を作る部分のこと。ボタンとか画面のデザインだね」
🐹 もっちー「あー、ぼくらが普段スマホで見てる画面の側か。それの腕比べってこと？」
🦜 きなこ「そのとおり。開発者が同じお題をAIに出して、返ってきた画面を見比べて投票していくの」
🐹 もっちー「ふーん。でもどのAIが作ったか分かった上で投票するの？ 有名なやつが有利じゃない？」
🦜 きなこ「ううん、そこが一番大事。ブラインド、つまりどのAIの回答かを伏せた状態で投票するんだよ」
🐹 もっちー「え、名前隠すんかい！ ほんならブランドで贔屓できひんやん。中身一本勝負やな」
🦜 きなこ「そう、中身だけで殴り合う土俵なの。そのブラインド投票で、Kimi K3が首位を取ったんだよ」
🐹 もっちー「首位って、1位ってことやろ！？ ワイ、聞き間違いちゃうやんな」
🦜 きなこ「スコアは1679Elo。2位のClaude Fable 5が1631、3位のGPT-5.6 Solが1618なの」
🐹 もっちー「ちょっと待って。その、いーろー？ っていう聞き慣れない数字は、いったいなんなの？」
🦜 きなこ「うん。Eloはチェスで使われる強さの点数で、勝ち負けを重ねるほど実力が数字に近づくの」
🐹 もっちー「なるほど。じゃあ1679って、名前を隠したまま正々堂々勝ちまくった結果の数字ってことか。それは強いね」
🦜 きなこ「しかもね、ひとつ前の世代のモデルは18位だったの。そこから一気に1位まで駆け上がったの」
🐹 もっちー「18位から1位！？ えー、ほんまに抜いたんや！ そんな大ジャンプある！？」
🦜 きなこ「しかも中国発のモデルがこのリーダーボードで首位に立ったのは、これが初めてなんだよ」
🐹 もっちー「初めて……。でもさ、ぼく正直まだ半信半疑なんだよね。結局このAI、実力は本物なの？」
🐹 もっちー「それとも、たまたまウケただけの見かけ倒しなの？ そこがはっきりしないと落ち着かないよ」
🦜 きなこ「その疑問、すごく大事なの。実はこの結果、ある数字の勘違いが独り歩きしてるところがあって……」
ベンチマーク解釈の罠
🦜 きなこ「その引っかかり、すごく良いところなの。実はその読み方、私も一度は真に受けて、あとで読み違えてたって気づいたの」
🐹 もっちー「せやろ！ワイもそこ引っかかっててん。じゃあ76%もClaudeに勝ったってことやん！それで納得しかけとったわ」
🦜 きなこ「そこなんだよ。その読み方ね、今回のリサーチの検証チームが3人全員一致で棄却してるの」
🐹 もっちー「え、棄却…？ぼくの理解、まるっきり間違ってたってこと？けっこう自信あったのに」
🦜 きなこ「今回のリサーチね、上位25個の主張を3人の懐疑的な検証者が、わざと反証しにかかる仕組みなの」
🐹 もっちー「わざと粗探しする係を3人も置くんだ。なんか、有罪か無罪かをじっくり決める裁判みたいだね」
🦜 きなこ「そう。2人以上が反証できたら、その主張は棄却。25個中5個が実際に落とされたんだよ」
🐹 もっちー「へえ、2割も落ちるんだ。厳しいなあ。で、76%のやつもその5個に入ってたの？」
🦜 きなこ「入ってた。しかも票は0対3。3人とも反証できて、誰ひとり擁護できなかった読み方なの」
🐹 もっちー「0対3って…それもう完敗だよ。じゃあ76%って、一体なんの数字だったの？」
🦜 きなこ「あれはね、全部の対戦相手に対する平均の勝率なの。いろんなモデルと総当たりした打率みたいな数字」
🐹 もっちー「総当たり…つまり色んな相手と戦った合計の成績ってことだよね？Claudeだけの相手じゃなくて」
🦜 きなこ「そういうこと。Fable 5との一騎打ちで76%勝った、って意味の数字じゃないんだよ」
🐹 もっちー「ええっ、それ意味がぜんぜん違うじゃん…ぼく完全に読み間違えてたよ」
🦜 きなこ「ただ、1位そのものは本当なの。1,679点で首位、Fable 5が1,631点、GPT-5.6 Solが1,618点」
🐹 もっちー「お、じゃあ勝ってるのは勝ってるんだ。数字が並ぶとちょっと安心するね」
🦜 きなこ「でもそれ、フロントエンドのコードに特化した部門なの。プログラム全体の総合順位じゃないんだよ」
🐹 もっちー「え、部門優勝みたいなこと？水泳で言うと自由形だけ1位、みたいな。じゃあ総合は？」
🦜 きなこ「総合の知能指標だと3位なの。Fable 5とGPT-5.6 Solの後ろを走ってるんだよ」
🐹 もっちー「3位…ぼく、あの76%だけ見て、全部で1位だと思い込んでたよ。恥ずかしいなあ」
🦜 きなこ「数字自体は嘘じゃないの。ただ、切り取り方ひとつで印象が全然変わっちゃう。そこが罠なんだよ」
🦜 きなこ「じゃあ結局このAI、実際どこまで信用していいのって話になるよね。それには重みが公開されてるかどうかが関わってくるの」
オープンウェイト公開と検証可能性
🦜 きなこ「もっちー、あのKimi K3の中身をまるごと自分のパソコンに落とせるって言ったら、信じる？」
🐹 もっちー「え、まるごと？あの2.8兆パラメータのお化けみたいなやつを、ぼくのパソコンにってこと？」
🦜 きなこ「うん、7月26日には本当に公開されたの。ファイルは約96個に分かれてて、全部で約1.63テラバイトあるんだよ」
🐹 もっちー「1.63テラ！？ワイのパソコン、それ入れただけで満杯やないか！動かすとかムリやろ！」
🦜 きなこ「個人でだと正直厳しいの。飼い主のタブレット回線だと落とすだけで一生かかりそう。でも誰でも取りに行けるのが大事なんだよ」
🐹 もっちー「API越しに毎回借りて使うのとは、根っこから立場がぜんぜん違うってことだね」
🦜 きなこ「そう。この、重みだけを公開して配る形のことを、オープンウェイトって呼ぶんだよ」
🐹 もっちー「オープンウェイト……それって、よく聞くオープンソースと同じってことでいいの？」
🦜 きなこ「そこが違うの。公開されてるのは重みだけで、学習に使ったデータも学習コードも入ってないんだよ」
🐹 もっちー「なるほど、レシピそのものは秘密のままで、できあがった料理だけもらえる感じか」
🦜 きなこ「うん、その例えぴったり。だから作り方そのものを外から検証しきることは、まだできないの」
🐹 もっちー「まあでも、タダで料理をもらえるなら十分ありがたい話じゃない？」
🦜 きなこ「そのタダにも条件があるの。Kimi K3ライセンスっていう、独自のライセンスが付いてるんだよ」
🐹 もっちー「え、無料で使えるんじゃないの？条件って、なんか怖いんだけど」
🦜 きなこ「落ち着いて。基本は商用でも使えるの。ただ12か月の収益が2,000万ドルを超えるホスティング事業は、別契約が必要なんだよ」
🐹 もっちー「おお、ちゃんと線引きされてるんだ。まあ個人にはあんまり関係ない話だけどね」
🦜 きなこ「そうなの。あと利用者が1億人を超えるような製品は、画面にKimi K3って表示する義務もあるんだよ」
🐹 もっちー「タダで使わせる代わりに、名前は出せってことか。わりと現実的な線引きなんだね」
🦜 きなこ「うん。ただね、重みが公開された今でも、同じ条件で数字を再現した第三者の検証は、まだ見つかってないの」
🦜 きなこ「専門家の反応も気になるところなんだけど、ここが実はまだ確定情報が少なくて……」
専門家の反応と地政学インパクト（慎重に）
🦜 きなこ「実はここ、私も自信を持って言い切れないところなんだよ。だから最初に白状しておくね」
🐹 もっちー「えっ、きなこが言い切れないって珍しいな。ここまで結構はっきり話してたよね？」
🦜 きなこ「専門家がこのモデルをどう見たか、っていう話なんだけど、ちゃんと裏が取れた情報がほとんど無いの」
🐹 もっちー「え、でもネットには専門家っぽい人のコメント、いっぱい流れてたよね？あれって全部だめなの？」
🦜 きなこ「流れてはいるんだよ。例えばウォートン校の准教授、イーサン・モリックさんの名前はよく出てくるの」
🦜 きなこ「肩書きは大学の公式ページで確認できた。でも、その人が実際に何て言ったかは確認できてないんだよ」
🐹 もっちー「肩書きだけはホンモノで、肝心の発言のほうは、まだ確かめられてないってこと？」
🦜 きなこ「そう。SNSの投稿が出典だと、それだけじゃ裏付けとしては弱い、って私は扱ってるの」
🐹 もっちー「へえ、有名な大学の先生が言ってたって聞いたら、ぼくは一発で信じちゃいそうだけどなあ」
🦜 きなこ「誰が言ったかより、どこで確認できるか。ここを分けて見るのが、情報の見分け方の第一歩なんだよ」
🐹 もっちー「えー株価まで動いたん！？それってめっちゃ大事になってるやん！」
🦜 きなこ「その報道はあるね。ただ、具体的な下落率の数字は、私たちの検証をまだ通せてないの」
🐹 もっちー「なんだ、その数字もまだ確かめられてないのか」
🦜 きなこ「ゼロだとは言わないよ。報道自体はあるし、後から本当だったって分かるかもしれない」
🦜 きなこ「でも今の時点で私が、株価が何パーセント下がった、って言い切っちゃうのはやり過ぎなの」
🐹 もっちー「今言えることと、まだ言えないことを、きっちり分けて話してるってことだね」
🦜 きなこ「うん。ショック再来っていう言葉も、今はそう報じられている段階、ってとどめておくね」
🐹 もっちー「確認済みと未確認で、ラベル貼って並べといたほうが分かりやすいな。ぼくでも見分けられそう」
🦜 きなこ「そうなの。私も調べる時は、この二つを必ず色分けして、混ぜないようにしてるんだよ」
🦜 きなこ「実はこの見分け方を知らないと、次に別のAIモデルが圧勝って報じられた時も、また同じ勘違いをすることになるの」
実力は本物、でも鵜呑みは禁物
🦜 きなこ「じゃあ最初に出した2つの疑問、ここでまとめて答えを出すね」
🐹 もっちー「うん、聞かせて。ぼく実はまだちょっとだけモヤモヤが残ってたんだよね」
🦜 きなこ「フロントエンドの部門では正真正銘の1位を取ってるの。さっき確認した通り、あの76%は勘違いだったけどね」
🐹 もっちー「うん、そこはもう分かってるよ。部門トップと総合トップ、うっかり混同したらだめだよね」
🦜 きなこ「そのとおり。総合力を測る指標で見ると3位なの。全部の分野で一番ってわけじゃないんだよね」
🐹 もっちー「あー、部門で一番と総合で一番は、まったく別の話ってことか。それ、ニュースの見出しだと簡単に混ざりそうだね」
🦜 きなこ「そう。しかも今の数字は、開発者のブラインド投票と、作った会社自身の自己申告が中心になってて、独立した第三者の再現はまだなの」
🐹 もっちー「え、それって第三者の目でちゃんと確かめられるまでは、話半分くらいに聞いといたほうがいいってことなの？」
🦜 きなこ「ゼロだと決めつけるわけじゃないけど、丸ごと鵜呑みにもしない。それくらいの距離感がちょうどいいの」
🐹 もっちー「なるほどね。頭から信じ切るでも、頭から疑い切るでもなく、ちょうど真ん中あたりで見とくのが良いってことなんだね」
🐹 もっちー「うーん、でも結局のところ、すごいもんはやっぱりすごいんだね。そこは素直に疑わなくていいってことか」
🦜 きなこ「うん、そこは私も同じ意見。実力は本物、でも「Claude超え」って一言でまとめてしまうのはちょっと乱暴なんだよ」
🐹 もっちー「ぼく、これからニュースで数字を見たら、どの部門の話で、誰が測ったのかをまず確かめるようにするよ」
🦜 きなこ「いいね、それが一番大事な見分け方なの。数字そのものより、どんな条件で出た数字なのかを見るんだよ」
🦜 きなこ「でもね、この見分け方って知ってるだけだと意味がなくて、次に使う場面がないとすぐ忘れちゃうんだよね」
まとめ
🦜 きなこ「じゃあ最後に、今日わかったことをぎゅっとまとめるね。」
🐹 もっちー「おねがい。ぼく、もう頭ん中がいっぱいなんだよ。整理してほしい。」
🦜 きなこ「まず、Kimi K3がFrontend Code Arenaで首位を取ったこと自体は本物なんだよ。」
🐹 もっちー「そこはホンマやったんや！ワイ、疑ってしもてたわ！」
🦜 きなこ「うん。でも「Claude超え」っていう見出しの方は、数字の読み違いなの。」
🐹 もっちー「76%が「全部の項目で勝った」って意味じゃなかったんだよね。」
🦜 きなこ「そう。母数と比較条件を外して見出しにすると、数字はいくらでも大きく見えるんだよ。」
🐹 もっちー「つまりベンチマークって、正解そのものじゃなくて、いまの方向を指す矢印みたいなもんなんだね。」
🦜 きなこ「いい例えだね。決定的な判定じゃなくて、いまの傾向を教えてくれる道具なの。」
🦜 きなこ「実はこのベンチマークの読み違い、他のAIモデルの発表でも毎回のように起きててね。」
🐹 もっちー「えっ、毎回！？みんな同じ罠に、何回もハマってるってこと？」
🦜 きなこ「そう。でもその話はまた別の動画で、じっくり掘っていくね。」
🦜 きなこ「さて、ここからは恒例のもっちー実践コーナー。今日やることを1個だけ決めるね。」
🐹 もっちー「1個だけ？それなら、ITオンチのぼくでも、ちゃんと覚えられそうだよ。」
🦜 きなこ「次にAIモデルの「◯◯でトップ」っていうニュースを見たときね。」
🐹 もっちー「うん、タイムラインでよく見るやつだよね。それで、何すればいいの？」
🦜 きなこ「その数字が何と何を比較した結果なのか、そこだけ一行、確認してみてほしいの。」
🐹 もっちー「え、それだけでええんか！それやったらワイでもできるやん！」
🦜 きなこ「うん、それだけで見出しに振り回されなくなるの。みんなはKimi K3、実際に使ってみたい派？それとも様子見派？」
🐹 もっちー「ぼくはこの動画、保存しといて忘れたころにまた見返すよ。みんなの答え、楽しみに待ってるね！」
きなこもっちーのテック深掘り では、AI/LLM を中心としたテック全般をハムスター（🐹 もっちー）とセキセイインコ（🦜 きなこ）の掛け合いで楽しく解説しています。
▶️ 動画で観る → 中国AIがClaudeに勝った？Kimi K3『76%』の数字に潜むベンチマークの罠
👍 この記事が役に立ったら LGTM・ストックしてもらえると励みになります！
📺 チャンネル登録はこちら → きなこもっちーのテック深掘り
🔗 他の解説動画も見る → きなこもっちーのテック深掘り の動画一覧