📺 この記事は YouTube チャンネル きなこもっちーのテック深掘り の動画解説記事です。
▶️ 動画はこちら → 賢くなったAIが嘘つきに？Grok 4.5が暴くベンチマークの落とし穴
🐹🦜 この記事に登場する2匹
- 🐹 もっちー （ハムスター）… AI はまだ勉強中。「それどういうこと？」と素朴に質問する生徒役
- 🦜 きなこ （セキセイインコ）… AI で調べものをこなす解説役。やさしく深掘りして教える先生役
この記事は2匹の掛け合いを書き起こした形式です。発言の先頭にいる絵文字＋名前が話者です。
はじめに
🐹 もっちー「ねえきなこ、聞いてや！Grok 4.5っていう新モデルが出て、なんかめっちゃ賢くなったらしいで！最強ちゃう？」
🦜 きなこ「落ち着いて、もっちー。確かにGrok 4.5は、ある指標で正答率が35%から52%に跳ね上がったの」
🐹 もっちー「おお、めっちゃ上がってるやん！やっぱ新しいモデルほど賢いに決まってる、当たり前や！」
🦜 きなこ「でもね、ここからが本題なの。同じテストで、ハルシネーション率も25%から54%に倍増してたの」
🐹 もっちー「え、待って。賢くなったのに、間違いも倍に増えてるの？どういうこと、意味わからないよ」
🦜 きなこ「そう。正答率はちゃんと上がったのに、でたらめを言う頻度まで倍に…この矛盾、変だと思わない？」
🐹 もっちー「思うよ！賢くなったんだったら、間違いは減るのが普通じゃないの？なんか話が逆だよ」
🦜 きなこ「普通はそう考えるよね。でも実は、賢いAIほどハマってしまう落とし穴が、ちゃんと隠れてるの」
🦜 きなこ「今日はね、なぜ賢くなるほどでたらめが増えるのか、その仕組みを最初から順番に解き明かしていくね」
🦜 きなこ「そのうえで、ベンチマークの数字が本当は何を表してるのか、その読み方まで一緒に見ていくよ」
🐹 もっちー「うわ、それめっちゃ気になるやん！スコアの数字に騙されてたかも…最後まで見なあかんな！」
🦜 きなこ「賢くなったのに間違いも倍増——この矛盾、ちゃんと理由があるの。それが分かると、AIのスコアの見方が変わるよ」
Grok 4.5 とは何者か（SpaceXAI・改名・Cursor買収）
🐹 もっちー「ねえきなこ、『SpaceXAIから出た』って聞いたけど…SpaceXってロケットの会社だよね？ AIまで作ってるの？」
🦜 きなこ「そうなんだよ。飼い主のタブレット借りて調べたんだけど、正確には2026年2月2日に、SpaceXがxAIを全株式取引で買収して、完全子会社にしたの」
🐹 もっちー「xAIって、イーロン・マスクが立ち上げたAI会社だよね？ それをロケットの会社が、丸ごと飲み込んだってこと？」
🦜 きなこ「うん。そして2026年7月6日に、xAIは社名を正式にSpaceXAIへ改名したの。2月の買収に続くブランド統合の総仕上げだね」
🐹 もっちー「名前まで変えたんだ。その新会社の一発目がGrok 4.5ってこと？」
🦜 きなこ「その通り。改名のすぐ後、2026年7月8日に発表されたのが、この新生SpaceXAIの初モデル、Grok 4.5なんだよ」
🐹 もっちー「新会社になって最初に出すモデルってことか。なんか、すごく気合い入ってそうだね」
🦜 きなこ「しかもね、イーロン・マスク自身の言葉では、Grok 4.5は『Opusクラスのモデル』なんだって」
🐹 もっちー「Opusクラス！？ あの高くて賢いって評判のやつと、同じレベルってこと！？ マジかいな！」
🦜 きなこ「ただここは要注意。それはマスク本人のX投稿での表現で、つまり企業側の自己申告なの。独立した第三者評価じゃないんだよ」
🐹 もっちー「独立した第三者の評価じゃなくて、まだ身内が言ってるだけの状態ってことか」
🦜 きなこ「そう。だから話半分で聞くのが正解。しかもGrok 4.5は、コーディング特化を強く打ち出してるの」
🐹 もっちー「コーディング特化？ プログラムを書くのに強いってこと？ なんでそんな尖った方向にしたの？」
🦜 きなこ「SpaceXAIがね、人気のコード生成ツールCursor、その親会社のAnysphereを買収したの。だからコーディングに力が入ってるんだね」
🐹 もっちー「へえ…って、それ、いったいいくらで買ったの？」
🦜 きなこ「約600億ドル、$60Bもの全株式取引なの。2026年6月16日の発表だよ。60億ドルじゃなくて、その10倍なの」
🐹 もっちー「600億ドル！？ 桁がバグってるやろ！ そこまで金かけて、API価格は激安…安くて賢い、最強やん！」
🦜 きなこ「……でもね。この『賢い』には、大きな落とし穴があるの。それは、後でじっくり話すね」
🐹 もっちー「え、落とし穴？ こんなに賢くて安いのに、まだ裏があるの？ それはすごく気になる…」
🦜 きなこ「この安くて賢いには、賢いからこそ生まれた落とし穴があって、それが数字にくっきり出てるの。でもまずは——その賢さが本物なのかを、次で確かめるよ」
性能は本物（Intelligence Index・正答率・激安価格）
🦜 きなこ「まずは性能から見ていくね。Artificial Analysis、通称AAっていう第三者機関が出してる知能指数、Intelligence Indexで測るの」
🐹 もっちー「総合スコア？なんか、いろんなテストをまとめた偏差値みたいなもん？」
🦜 きなこ「近いかも。そのIndexで、Grok 4.5は54点。前世代のGrok 4.3が38点だったから、一世代で+16点も跳ね上がったの」
🐹 もっちー「+16点！？テストで16点も上がったら、クラスでビリから真ん中まで大逆転やん！」
🦜 きなこ「そうなの。しかもAAの発表記事だと、この54点は最新モデルがずらっと並ぶ中で全体4位。トップ集団のすぐ下なんだよ」
🐹 もっちー「4位！？誰もが知ってる最強クラスに混ざって4位って、それめっちゃすごいことやん！」
🦜 きなこ「うん…ただ、この『全体4位』っていう見せ方、実は読み方に少しコツがいるの。それはあとでちゃんと話すね」
🦜 きなこ「次は正答率。AA-Omniscienceっていう知識テストで、Grok 4.5の正答率は35%から52%へ。半分を超えてきたの」
🐹 もっちー「へえ、10問あったら5問はちゃんと当てられるようになったってことか」
🦜 きなこ「そういうこと。だから、性能が上がったこと自体は本当なの。ここはもう、私も素直に認めるしかないの」
🦜 きなこ「で、もっちーが一番好きそうな話にいくね。お値段なんだけど、これがまた笑っちゃうくらい激安なの」
🦜 きなこ「API料金は、入力が100万トークンで$2、出力が$6。有名な上位モデルのだいたい半額以下っていう安さなんだよ」
🐹 もっちー「$2！？桁が一個少なくない！？他のがどれだけ高いのって話だよ！」
🦜 きなこ「しかもキャッシュが効いた分は$0.50まで下がるの。一度読ませた資料は、ほぼタダみたいな値段で使い回せる」
🦜 きなこ「コーディングの実作業でも、Grok Buildってツールなら1タスクあたりたった$2.49っていう数字が出てるの」
🐹 もっちー「点数も上がって、値段も激安！これもう文句なしやん！ワイでもポチッと使えそうやな！」
🦜 きなこ「でしょ？点数も、正答率も、値段も。ここまではどこを切り取っても、全部いいニュースなの」
🦜 きなこ「でもね、同じレポートの中に、正答率と並んで倍増してた数字がひとつだけあるの。次はそれを見る——たぶん見た瞬間、さっきの『最強』が揺らぐよ」
トレードオフの正体（ハルシネーション率25%→54%）
🐹 もっちー「ねえきなこ、さっき性能は本物って言ってたよね？賢いなら、信頼できるはずでしょ？」
🦜 きなこ「そう思うよね。私も最初はまったく同じことを思ってた。賢いモデルなら安心できる、って。でもね、そこに大きな落とし穴が隠れてたの」
🦜 きなこ「覚えてる？正答率は35%から52%に上がった。ざっくり、当たる割合が半分近くまで増えたってこと。ここだけ見れば、文句なしの良いニュースなの」
🦜 きなこ「でもね、同じレポートの中に、正答率とぴったり寄り添うように、こっそり一緒に動いた数字がもう一つあるの。ハルシネーション率」
🐹 もっちー「ハルシネーション率って、要するに、ただの計算ミスとか、うっかり間違えた割合のことでしょ？絶対そうだよ」
🦜 きなこ「ちょっと違うの。ハルシネーションは、自信たっぷりに間違えること。本当は知らないのに、知ってるフリして、堂々と嘘を言い切っちゃうことなの」
🦜 きなこ「その自信満々の間違いが、Grok 4.5では25%から54%へ。正答率が伸びたのと、まさに同時に、倍以上へ跳ね上がってたの」
🐹 もっちー「は？賢くなったのに嘘が倍増って、矛盾してるやん！どっちやねん！」
🦜 きなこ「そう思うよね。その反応で正しいの。賢くなったはずなのに、嘘だけ倍増する——確かに、頭では矛盾にしか見えない。でもね、ちゃんと理由があるの」
🐹 もっちー「理由って…つまり、頭が良くなればなるほど、モデルはどんどん嘘つきになっていくってこと？」
🦜 きなこ「そう単純じゃないの。賢いほど必ず嘘が増える、なんて法則はどこにもない。そこを勘違いすると、モデル選びを丸ごと間違えるの」
🦜 きなこ「起きてるのはもっと具体的なこと。正答率52%と、嘘の54%。この2つが同じ一匹のモデルに同居してる。それが今回の核心なの」
🐹 もっちー「同じモデルの中で、賢さと嘘が、仲良く手をつないで一緒に増えてる、ってこと…？」
🐹 もっちー「賢さと嘘が一緒に増えるとか、意味わからん！」
🦜 きなこ「その『意味わからん』の正体はね、モデルが受けてる『良いテストの受け方』に秘密が隠れてるの」
🐹 もっちー「良いテストの受け方…？テストで良い点取るのって、優等生ってことじゃん。それがなんで嘘につながるの？」
🦜 きなこ「普通はそう。でも、テストで良い点を取ろうとする、その真面目さこそがハルシネーションを生むって言ったら、驚く？」
🦜 きなこ「賢くなったのに嘘が増える——矛盾してるよね。でもこれ、モデルが良いテストの受け方を覚えた結果なの。次でその正体を暴くと、たぶん明日からスコアの見方が変わるよ」
なぜ賢いほど自信満々に間違えるのか（メカニズム）
🐹 もっちー「なあきなこ、さっきの『賢くなったのに嘘の方も倍増』って矛盾、ぼくまだずっと引っかかってるんだよ」
🐹 もっちー「でもさ、考えててふと気づいたんだ。学校のテストで空欄にするより、とりあえず何か埋めた方が得じゃん？」
🐹 もっちー「当たればラッキー、外してもゼロ点は空欄と一緒やろ？そら埋めた方が絶対トクやん！」
🦜 きなこ「もっちー、今すごく大事なこと言ったよ。それがハルシネーションが増える正体そのものなの」
🦜 きなこ「その『空欄より埋めた方が得』っていう感覚を、AIの採点方法がそっくりそのまま作り出しちゃってるの」
🐹 もっちー「えっ、AIもぼくと同じで、わからない問題ほどテストの点稼ぎで埋めにいってるってこと？」
🦜 きなこ「そうなの。OpenAIの研究が、学習と評価は『わからない』と認めることより…」
🦜 きなこ「『自信を持って当てずっぽうで答える』方に高い点をつけてる、ってはっきり指摘してるんだよ」
🦜 きなこ「だからモデルは『良い受験者』になるよう鍛えられていて、迷ったら黙るより推測した方が点が伸びるの」
🐹 もっちー「良い受験者かあ…ぼくもテストは空欄で捨てるのがもったいなくて、全部埋める派だったよ」
🦜 きなこ「でしょ？その戦略、確かにテストの点数は上がるの。でも外したときは『自信満々の誤答』が残っちゃう」
🦜 きなこ「このスコアの仕組みを見て。AA-Omniscienceっていう指標が、まさにそれを測ってるんだよ」
🦜 きなこ「正解には＋1点、自信ある誤答にはマイナス1点。でも『答えない』棄権はゼロ点なの」
🐹 もっちー「あれ？棄権はゼロで減らへんのに、なんで賢いモデルはわざわざ答えにいくん？」
🦜 きなこ「賢いモデルほど『わからない』で立ち止まらずに、どんどん積極的に答えを出しにいっちゃうからなの」
🦜 きなこ「正解も増えるけど、その代わり外した分がまるごと『自信を持った誤答』に化けるの。これが倍増の正体なんだよ」
🐹 もっちー「あー！テストで空欄より、とりあえず埋めた方が点になるやつやん！その副作用ってことか！」
🦜 きなこ「でもね、ここが一番大事。『賢い＝必ず嘘が増える』は普遍法則じゃないの。採点のクセが生む、直せる問題なんだよ」
🐹 もっちー「なるほどなあ…賢いから勝手に嘘つくんじゃなくて、採点が『とにかく埋めろ』って教えてるだけなんか」
🦜 きなこ「じゃあこの数字、結局どう受け取ればいいの？ 実は同じGrok 4.5が、あるレポートでは4位、別の見方だと9位に見える瞬間があって……次はベンチマークの読み方そのものを解剖するよ」
ベンチマークの読み方（4位/9位・ハーネス不一致・自己申告）
🐹 もっちー「ねえきなこ、さっき54点で4位ってすごいって言ったけど…本当に4位なの？なんか引っかかるんだよね」
🦜 きなこ「いいところに気づいたね。実はね、同じ54点なのに、見る場所で4位にも9位にもなるの」
🐹 もっちー「はぁ！？4位なのに9位！？どっちが本当なん！」
🦜 きなこ「どっちも本当なんだよ。AAの発表記事は、Fable5・GPT-5.5・Opus4.8と並べて『4位』ってフレーミングしてるの」
🦜 きなこ「でも全モデルのリーダーボード、186個並んだ表で見ると9位。同じスコアでも、どの土俵で比べるかで順位が変わるの」
🐹 もっちー「あ、さっきぼくが『4位すごい』って喜んだやつ、これか！見る土俵が違っただけなんだ」
🦜 きなこ「そう、それが落とし穴の1つめ。順位は『どのランキングか』を見ないと、意味が変わっちゃうの」
🐹 もっちー「じゃあ、あの激安コスト、コーディング$2.49ってやつ。あれはガチで安かったよね！」
🦜 きなこ「安いのは本当。でもね、あの$2.49と、Fable5の$11.80って、実は別々のハーネスで測った数字なの」
🐹 もっちー「ハーネス？なにそれ、馬具？」
🦜 きなこ「エージェントの土台のことだよ。GrokはGrok Build、Fable5はClaude Code、GPT-5.5はCodex。全部別なの」
🦜 きなこ「だから厳密に同じ条件の比較じゃなくて、『それぞれのやり方でこの単価』ってスナップショットなの」
🐹 もっちー「あ、さっきぼくが『激安！』って飛びついたやつ、条件付きだったのか…」
🦜 きなこ「それが落とし穴の2つめ。値段は『同じ条件で測ったか』を見ないと、フェアな比較にならないの」
🐹 もっちー「じゃあ最後の、マスクが言ってた『Opusクラス』は？あれは本物でしょ！」
🦜 きなこ「それがね…『Opusクラス』も『Opus4.7と同等』も、マスク本人が言ってるだけ。会社の自己申告なの」
🦜 きなこ「第三者がちゃんと評価した数字じゃないんだよ。だから『そう言ってる』止まりで受け取るのが正解なの」
🐹 もっちー「じゃあ数字だけ見て『すごい』って喜ぶの、けっこう危ないってことやん…」
🦜 きなこ「そうなの。だから数字は、どんな条件で出たのかまでセットで見るのが大事なんだよ」
🐹 もっちー「うーん、さっきぼくが『Opusクラスすごい』って興奮したやつも、鵜呑みは危なかったのか…」
🐹 もっちー「4位も、激安も、Opusクラスも…さっきの話、ぜんぶここにつながったんだ！」
🦜 きなこ「4位なのに9位、激安なのに条件付き——数字って、読み方ひとつで別物に見えるの。次はこれを、明日からあなたが使える3つのコツに落とし込むよ」
まとめ
🦜 きなこ「じゃあ今日のまとめね。Grok 4.5は、賢さとハルシネーションが一緒に上がる、そんなトレードオフを持ったモデルだったの。」
🐹 もっちー「賢くなったら間違いも減るって思い込んでたけど、そうとは限らないんだね。」
🦜 きなこ「だから実用のコツを3つ渡すね。1つ目は、1つの数字で判断しないこと。知能指数だけじゃなく、ハルシネーション率もセットで見るの。」
🐹 もっちー「なるほど、スコアが高い＝安心、って単純な話じゃないってことか。」
🦜 きなこ「2つ目は、ベンチマークの『条件』を読むこと。どんなハーネスで、どのビューを見た結果なのか、そこまで確認するの。」
🐹 もっちー「条件かぁ…ぼく、数字だけ見て満足して終わってたよ。」
🦜 きなこ「3つ目は、重要な用途では『AIは自信満々に間違える』前提で必ず検証すること。ここが一番大事なの。」
🐹 もっちー「うわ、これAI全般に言える話やん！保存しとこ、ワイ明日から数字の見方変わるで！」
🦜 きなこ「そうだね。でもね、Grok 4.5は悪いモデルってわけじゃないの。賢さと過信が同居する、すごくいい教材なんだよ。」
🐹 もっちー「たしかに。賢い＝必ず嘘つき、ってわけでもないもんな。使い方次第なんだね。」
🦜 きなこ「そこでみんなに聞きたいの。モデルを選ぶとき、あなたはスコアとハルシネーション率、どっちを重視する？」
🐹 もっちー「ぼくは間違えられたら困るから、正直さ重視かな。みんなはどう思う？コメントで教えてよ！」
🦜 きなこ「最後に一つ。この『自信満々に間違える』問題、実はGrokだけじゃなく他の最新モデルでも起きてるの。どのモデルが一番『正直』かは……それはまた別の動画で。」
🐹 もっちー「えー、気になるやつやん！それは楽しみに取っとくわ。じゃあ最後まで見てくれてありがとう！」
きなこもっちーのテック深掘り では、AI/LLM を中心としたテック全般をハムスター（🐹 もっちー）とセキセイインコ（🦜 きなこ）の掛け合いで楽しく解説しています。
▶️ 動画で観る → 賢くなったAIが嘘つきに？Grok 4.5が暴くベンチマークの落とし穴
👍 この記事が役に立ったら LGTM・ストックしてもらえると励みになります！
📺 チャンネル登録はこちら → きなこもっちーのテック深掘り
🔗 他の解説動画も見る → きなこもっちーのテック深掘り の動画一覧