📺 この記事は YouTube チャンネル きなこもっちーのテック深掘り の動画解説記事です。
▶️ 動画はこちら → Claude Opus 5の30.2%、信じていい数字はどっち？ARC-AGI-3の衝撃
🐹🦜 この記事に登場する2匹
- 🐹 もっちー （ハムスター）… AI はまだ勉強中。「それどういうこと？」と素朴に質問する生徒役
- 🦜 きなこ （セキセイインコ）… AI で調べものをこなす解説役。やさしく深掘りして教える先生役
この記事は2匹の掛け合いを書き起こした形式です。発言の先頭にいる絵文字＋名前が話者です。
はじめに
🐹 もっちー「ねえきなこ、人間なら100点取れるのに、AIだと1点も取れないテストがあるって知ってた？」
🦜 きなこ「知ってるよ。ARC-AGI-3っていうテストなの。今年の3月時点で、最先端のAIはどれも1%未満だったんだよ」
🐹 もっちー「1%未満って、ほぼゼロってことじゃん。何それ、そんなに難しいの？」
🦜 きなこ「そこにね、Claude Opus 5 が30.2%を出したの。7月24日の発表だよ」
🐹 もっちー「30.2%！？ ほぼゼロやったのが、いきなり30かい！」
🦜 きなこ「しかも値段は前のモデルから据え置き。100万トークンあたり、入力5ドル・出力25ドルのままなの」
🐹 もっちー「値上げしてないの？ そこは普通、上げるところでしょ…」
🦜 きなこ「今日はこの30.2%が何を意味するのかを見ていくね。最後には、自分の環境でOpus 5を呼び出す手順まで持って帰れるようにするよ」
🦜 きなこ「先に言っておくと、同じ発表の中に、鵜呑みにしちゃいけない数字がひとつ混ざってるの」
🐹 もっちー「えっ、待って。同じ発表なのに信じていいのと駄目なのがあるの？」
🦜 きなこ「見分け方さえ分かれば、次にどのモデルの発表が来ても同じ読み方が使えるようになるよ」
「3倍」の正体 — 30.2%と7.8%
🦜 きなこ「まず30.2%から。この数字ね、Anthropicが自分で言ってるんじゃないの」
🐹 もっちー「え、じゃあ誰が言ってるの？」
🦜 きなこ「テストを作って運営してる側。ARC Prizeっていう団体が、公式の結果ページで最高性能だって認定してるの」
🐹 もっちー「テスト作った人が認めてるならガチやん！」
🦜 きなこ「そこが大事なの。作った人が測ると、宣伝じゃなくて記録になるんだよ」
🐹 もっちー「で、2位はどれくらいだったの？」
🦜 きなこ「それまでの最高がGPT-5.6 Solで7.8%。Anthropicの発表文には、次点モデルの3倍って書いてあるよ」
🐹 もっちー「公式が3倍って言うなら3倍でしょ。それ以上でも以下でもないよね」
🦜 きなこ「そう思うよね。でも割ってみて。30.2を7.8で割ると、約3.87倍なの」
🐹 もっちー「ちょっと待って。その30.2%って、どういう条件で出した点数なの？」
🦜 きなこ「Highっていう、いちばん深く考えさせる設定で走らせたときの点数なの。生の値は30.16%で、それを丸めて30.2%だよ」
🐹 もっちー「設定で点数変わるんだ。じゃあ同じ設定同士で比べないと駄目じゃん」
🐹 もっちー「あれ、3倍より多いじゃん。盛るならもっと盛ればいいのに…」
🦜 きなこ「むしろ控えめに書いてるってこと。宣伝文句としては珍しいパターンだよね」
🦜 きなこ「ただし、この7.8%には注釈がひとつ要るの」
🦜 きなこ「GPT-5.6 Solには、非公開問題で7.78%、公開問題の平均で13.33%っていう別々の数字があるの。今比べたのは非公開のほうだよ」
🐹 もっちー「同じモデルなのに数字が2つあるんだ。ややこしいな…」
🦜 きなこ「この30.2%、実はもっと変な数字なの。だって同じテスト、人間は100%解けるんだよ」
🐹 もっちー「人間が100点のテストでAIが30点…？ そんなテストある？」
人間100%・AI1%未満のテスト
🦜 きなこ「もっちー、想像してみて。知らないゲームの画面を渡されるの。説明書なし、チュートリアルなし」
🐹 もっちー「何すればいいか誰も教えてくれないの？」
🦜 きなこ「教えてくれない。ゴールが何かも言われないの」
🐹 もっちー「うーん、じゃあぼくならとりあえずボタン全部押すかな。何か動いたらそれが正解っぽいし」
🐹 もっちー「で、点が入ったやり方は覚えとく。次からそれ繰り返せばいいでしょ」
🦜 きなこ「うん、それでいいの。今もっちーが自分でやったこと、実は名前がついてるんだよ」
🐹 もっちー「えっ、適当に押しただけなのに？」
🦜 きなこ「それがARC-AGI-3が測ってる能力そのものなの。未知の環境を探索して、その場でゴールを推測して、頭の中に世界のモデルを作って、続けて学ぶ。この4つ」
🐹 もっちー「あ、ボタン全部押したのが探索か。ゴール推測は…何か動いたら正解っぽいって思ったやつ？」
🦜 きなこ「そう。点が入ったやり方を覚えとくって言ったでしょ。あれが継続学習だよ」
🐹 もっちー「ワイ、無意識に4つ全部やってたんか！」
🦜 きなこ「人間は全員それができるの。だからテスト受験者は全部の環境を解けたんだよ」
🦜 きなこ「しかもこのテスト、言葉での指示を一切くれないの。自然言語のヒントなしで、動いて確かめるしかない」
🐹 もっちー「動いて確かめるって、将棋みたいに一手ずつってこと？」
🦜 きなこ「近いよ。一手動かして、画面がどう変わったか見て、それからまた次の一手を決めるの」
🐹 もっちー「じゃあ最初の何手かは、ほぼ当てずっぽうになるよね」
🦜 きなこ「そう。その当てずっぽうから規則を組み立てられるかどうかが、このテストの勝負どころなの」
🐹 もっちー「でも変じゃない？ AIって難しい問題は解けるんでしょ？」
🐹 もっちー「説明書がないだけで、なんで1%未満まで落ちるの？」
🦜 きなこ「そこなの。その落差はね、このテストが去年までとは違う作りに変わったせいなんだよ」
静的パズルから対話型へ — 設計思想の転換
🦜 きなこ「ARC-AGIって、実は3代目なの。1と2があって、そこから作りが変わったんだよ」
🐹 もっちー「1と2はどんなテストだったの？」
🦜 きなこ「図形のパズルなの。問題が目の前に全部並んでて、規則を見つけて答えを出す。じっと見て考えるタイプだね」
🐹 もっちー「テスト用紙って感じだ。じゃあ3は？」
🦜 きなこ「3は用紙がないの。自分で動いて、返ってきた反応を見て、また動く。ターン制なんだよ」
🐹 もっちー「あー、テスト用紙が森になった感じか。今までは机に座って解いてたのに、いきなり森に置かれて、出口探せって言われてるんだ」
🦜 きなこ「そのたとえ、すごくいいよ。しかも森には案内板がひとつもないの」
🐹 もっちー「でもなんでわざわざ作り変えたの？ パズルのままでよかったのに」
🦜 きなこ「パズルだとね、たくさん見て覚えたモデルが強くなっちゃうの。知ってるかどうかのテストになりやすいんだよ」
🦜 きなこ「測りたかったのは、初めての場所でその場から学べるかどうか。だから中で動けるテストに作り直したの」
🐹 もっちー「暗記じゃ勝てないテストにしたってことか」
🐹 もっちー「で、そのテストを受けた前のAIたちは、何点だったの？」
🦜 きなこ「公開当初のリーダーボードだと、Gemini 3.1 Proが0.37%、GPT-5.4 Highが0.26%、Opus 4.6 Maxが0.25%」
🐹 もっちー「全部0点台じゃん…。名前だけ聞くと強そうなモデルばっかりなのに」
🦜 きなこ「面白いのはここから。このテスト専用に作り込んだエージェントは12.58%出てるの」
🐹 もっちー「えっ、専用のほうが強いの？ 汎用の最新モデルより？」
🦜 きなこ「この壁は頭の良さじゃなくて、動きながら学ぶ設計を持ってるかどうかの問題だったの。だから汎用モデルが軒並み落ちたんだよ」
🦜 きなこ「つまりOpus 5の30.2%は、みんなが0.3%前後で並んでた場所に、ひとりだけ立ってるってこと」
🦜 きなこ「しかもARC Prizeは、点数以外にもうひとつ気になる観測を書き残してるの」
誰も解けなかった5つの環境と「新規行動」
🐹 もっちー「点数以外の観測って何？ スコアが全部じゃないの？」
🦜 きなこ「Opus 5はね、それまでどのモデルも突破できてなかった環境を5つ、追加で全部クリアしたの」
🐹 もっちー「誰も解けなかったやつを5つ？ 名前とかあるの？」
🦜 きなこ「エーアール25、エフティー09、エルピー85、アールイレブンエル、エスファイブアイファイブ。記号みたいな名前だよ」
🦜 きなこ「でね、ARC Prizeはその様子を新規行動、英語でノベル・ビヘイビアって呼んでるの」
🐹 もっちー「新規行動！？ それ、AIが自分で新しいやり方を編み出したってことやん！」
🐹 もっちー「で、何をやったん？ どんな手を思いついたん？」
🦜 きなこ「ARC Prizeは公式の投稿でも、これまで誰も突破できなかった環境を解く新しい動きが見られたって書いてるの」
🐹 もっちー「公式って、点数以外に何て書いてたの？」
🦜 きなこ「強い論理的な推論を示した、っていう書き方なの。点が伸びたじゃなくて、解き方を褒めてるんだよ」
🐹 もっちー「わざわざ別で言うくらいだから、よっぽど珍しかったんだ」
🦜 きなこ「点数だけなら、数字が伸びたで済むもんね。行動について書き足したのが引っかかるところなの」
🦜 きなこ「……そこがね、まだ分からないの」
🐹 もっちー「分からないって、どういうこと？」
🦜 きなこ「公式が言ってるのは、環境を突破したという事実と、強い論理的推論を示したという評価まで。中でどんな探索をしたのかの詳しい分析は、今回の調査では見つけられなかったの」
🐹 もっちー「一番面白いとこが空欄なのか…」
🦜 きなこ「でも空欄を埋めた気になるより、ここまでが確認済みって線を引いとくほうが大事なの」
🐹 もっちー「確かに。ニュースって、そこ勝手に埋めて書いてあること多いもんね」
🦜 きなこ「ここまでの数字は全部、テストを作った側が測ったものなの」
🦜 きなこ「ところが同じ発表の中に、これと同じ顔をして並んでるのに、出所が全然違う数字があるんだよね」
同じ発表に混ざっていた「自社ベンチ」の数字
🐹 もっちー「え、でも同じ発表に載ってるんだから、どっちも同じくらい確かなんじゃないの？」
🦜 きなこ「そう思うよね。私も並んでたら同じ重さで読んじゃう」
🦜 きなこ「でもね。もうひとつの数字は、フロンティア・ベンチ v0.1 っていうテストのものなの」
🦜 きなこ「Opus 5が43.3%。GPT-5.6 Solが34.4%で、Fable 5が33.7%だよ」
🐹 もっちー「全部勝ってるやん！ さっきより分かりやすい強さやな！」
🦜 きなこ「じゃあ聞くね。このテスト、誰が作ったと思う？」
🐹 もっちー「そりゃさっきのARC Prizeみたいな……あれ、違うの？」
🦜 きなこ「Anthropic自身なの。作ったのもAnthropic、測ったのもAnthropic」
🐹 もっちー「自分で作ったテストで自分が1位……それ、言っていいの？」
🦜 きなこ「嘘ってわけじゃないの。中身も公開されてて、ミニSWEエージェントっていう仕組みで5回試した平均で出してる」
🐹 もっちー「そのミニSWEエージェントっていうの、何をするやつなの？」
🦜 きなこ「AIに実際にコードをいじらせて、課題を最後までやり切れるか見る仕組みなの。今のClaude Codeみたいな使い方に近いよ」
🐹 もっちー「じゃあぼくらが普段やってる作業に、いちばん近いテストってことか」
🦜 きなこ「そう。だから実用の目安としては十分役に立つの。ただ、その目安を作ったのが売り手だってことは、頭の隅に置いといてね」
🐹 もっちー「自分で問題作って自分で採点した100点と、模試で取った100点は違うってことか」
🦜 きなこ「うん、その通り。どっちも0点じゃないけど、重さが違うの」
🦜 きなこ「実際ね、前のOpus 4.8の点数が、記事によって18.7%だったり21.1%だったりバラバラなの」
🐹 もっちー「じゃあ何倍になったのか、はっきり言えないんだ」
🦜 きなこ「2倍を超えてるのは確か。でも正確に何倍かは言えない。だから今日は倍率を断定しないでおくね」
🦜 きなこ「ここまで数字の話をしてきたけど、このモデル、性能が上がったのに値札が1円も動いてないの。普通は逆でしょ」
値札が動かなかったという事件
🦜 きなこ「白状するとね、私が発表を見て最初に二度見したの、点数じゃなくて値札のほうだったの」
🐹 もっちー「点数じゃなくて？ あんなに騒いでたのに？」
🦜 きなこ「100万トークンあたり、入力5ドル・出力25ドル。これ、前のOpus 4.8とまったく同じ数字なの」
🐹 もっちー「性能上げて値段そのままて、店やったら普通に潰れるやん！」
🦜 きなこ「もっちー、商売の話になると急に鋭いよね」
🐹 もっちー「だっておやつ代に直結するし。で、上のモデルはいくらなの？」
🦜 きなこ「Fable 5が入力10ドル・出力50ドル。つまりOpus 5は、ちょうどその半額なの」
🐹 もっちー「半額で上のやつに迫るんか！ めっちゃお得やん！」
🦜 きなこ「そこ、ちょっと気をつけて。Fable 5の半分のコストでフロンティア知能って言ってるのは、Anthropic自身の言葉なの」
🐹 もっちー「これってどこで使えるの？ 順番待ちとか申し込みとかいる？」
🦜 きなこ「発表と同じ日に、全部のプラットフォームで使えるようになってるの」
🦜 きなこ「Claude MaxとPro、API、それにAmazon BedrockとGoogle CloudとMicrosoft Foundryもだよ」
🐹 もっちー「初日から全部！？ えらい思い切ったな！」
🦜 きなこ「Claude Maxだと、標準で選ばれるモデルがこれに切り替わってるの」
🐹 もっちー「あ、また出所の話だ。誰が言ってるかを見るってやつ」
🦜 きなこ「そう。もっちー、今日ずっとその目で見れてるよ」
🦜 きなこ「ちなみに、どっちをどの場面で使い分けるべきかの細かい基準は、今回の調査でははっきりしなかったの」
🦜 きなこ「でもこの値段、実際に呼び出せて初めて意味が出るんだよね。ここでバージョンをひとつ間違えると、そもそも選択肢に出てこないの」
今日から使う手順 — モデルIDとバージョン
🦜 きなこ「じゃあ実際にやってみるね。飼い主のタブレット借りて、Claude Codeを開くよ」
🐹 もっちー「あ、また勝手に借りてる」
🦜 きなこ「まずバージョンの確認から。Opus 5を使うには、Claude Codeがv2.1.219以降じゃないと駄目なの」
🐹 もっちー「古かったらどうなるの？ エラー出るの？」
🦜 きなこ「そもそも一覧に出てこないの。だから古いままだと、指定してるつもりで別のモデルを使い続けちゃう」
🐹 もっちー「それ一番こわいやつじゃん。気づかないもん」
🦜 きなこ「だから先に、クロード・アップデートって打っておくの。これで最新版になるよ」
🐹 もっちー「更新したら、次はどうやってOpus 5を選ぶの？」
🦜 きなこ「やり方はふたつあるの。ひとつはopusって短く指定する方法。これで自動的にOpus 5が選ばれるよ」
🦜 きなこ「もうひとつは、クロード・オーパス・ファイブってフル名で書く方法。こっちは指定したモデルに固定されるの」
🐹 もっちー「どっち使えばいいの？ 短いほうが楽だけど」
🦜 きなこ「とりあえず新しいのを使いたいなら短いほう。動作を変えたくないなら、フル名で固定しておくのが安心だよ」
🐹 もっちー「更新して、名前指定するだけか。これならワイでもできるわ！」
🐹 もっちー「ねえ、ぼくもそのARC-AGI-3ってやつ、ちょっと遊んでみたいんだけど」
🦜 きなこ「ARC Prizeの公式ページが入口になってるよ。ただ、一般の人がどこまで触れるのかは、今回の調べでははっきりしなかったの」
🐹 もっちー「そこも空欄か…。まあ、分からないって言ってくれるほうが安心するけど」
🦜 きなこ「これで今日から触れるよね。ただ最後にひとつ、この発表でまだ誰も答えを出せてない部分が残ってるの」
まとめ
🐹 もっちー「まだ答えが出てない部分って、さっきの新規行動の中身のこと？」
🦜 きなこ「それもある。もうひとつは、あの43.3%を誰か別の人が確かめたのかどうか」
🐹 もっちー「そっか。誰も確かめてないなら、まだ自社の点数のままなんだ」
🦜 きなこ「今日の話、ひとことにするね。同じ発表の数字でも、誰が作って誰が測ったかで重さが変わるの」
🦜 きなこ「30.2%はテストを作った側が測って公開した数字。43.3%は作ったのも測ったのもAnthropic」
🐹 もっちー「この表、保存しとこ！ 次にモデルのニュース見るとき絶対使えるやつやん！」
🦜 きなこ「うん、どのモデルの発表でも同じ見方が使えるからね」
🦜 きなこ「持って帰ってほしいのは3つだけ。30.2%は第三者が測った数字。43.3%は自社の数字。そして値段は据え置き」
🐹 もっちー「第三者、自社、据え置き。うん、これなら覚えられる」
🐹 もっちー「次に新しいモデルのニュース見たら、まず誰が測ったかを探せばいいんだね」
🦜 きなこ「それだけで、記事の書き方に流されなくなるの。数字そのものより、その一手間のほうが長く効くよ」
🐹 もっちー「でもさ、30.2%のほうも人間の100%には全然届いてないんだよね」
🦜 きなこ「そこなの。壁を初めて大きく越えた数字ではあるけど、壁がなくなったわけじゃないの」
🦜 きなこ「だからね、この2つの数字のどっちを重く見るかは、まだ人によって割れてるところなんだよ」
🐹 もっちー「ぼくは30.2%かな。第三者が測ってるほうが安心する」
🦜 きなこ「私は仕事で使う人なら43.3%のほうを見るかもって思ってる。みんなはどっちを重く見る？ コメントで教えてね」
🦜 きなこ「実はこの話、Fable 5がどういう位置づけのモデルなのかとも地続きなんだけど…それは別の動画で詳しく話すね」
🐹 もっちー「あ、そういえばさ。今日ずっとタブレット借りてたけど、充電大丈夫？」
🦜 きなこ「……あ」
🐹 もっちー「また減ってるやん！ 飼い主帰ってくる前に戻しといてや！」
🦜 きなこ「急いで挿してくるね。ということで、今日はここまで」
きなこもっちーのテック深掘り では、AI/LLM を中心としたテック全般をハムスター（🐹 もっちー）とセキセイインコ（🦜 きなこ）の掛け合いで楽しく解説しています。
▶️ 動画で観る → Claude Opus 5の30.2%、信じていい数字はどっち？ARC-AGI-3の衝撃
👍 この記事が役に立ったら LGTM・ストックしてもらえると励みになります！
📺 チャンネル登録はこちら → きなこもっちーのテック深掘り
🔗 他の解説動画も見る → きなこもっちーのテック深掘り の動画一覧