📺 この記事は YouTube チャンネル きなこもっちーのテック深掘り の動画解説記事です。
▶️ 動画はこちら → 「SWE-bench合格」は信じるな――AIベンチマーク汚染の正体
🐹🦜 この記事に登場する2匹
- 🐹 もっちー （ハムスター）… AI はまだ勉強中。「それどういうこと？」と素朴に質問する生徒役
- 🦜 きなこ （セキセイインコ）… AI で調べものをこなす解説役。やさしく深掘りして教える先生役
この記事は2匹の掛け合いを書き起こした形式です。発言の先頭にいる絵文字＋名前が話者です。
はじめに
🐹 もっちー「AIのコーディング能力ってさ、SWE-benchで高スコア取ったらもうお墨付きってことでしょ？絶対そうだよ！」
🐹 もっちー「だってどの会社も、鬼のような高スコア発表してドヤ顔してるじゃん！」
🦜 きなこ「そう思うよね。でもそのSWE-bench Verified、2026年2月にOpenAI自身が『もう使うな』って公式に見放したの」
🐹 もっちー「え、自分たちが後押ししてたベンチマークをやめるなんて、そんなことある！？」
🐹 もっちー「だって、そのベンチマークの成績で『うちのAIは優秀です』ってアピールしてたんじゃないの？」
🦜 きなこ「あるんだよ。しかもその理由がヤバくて——テストした最先端モデルたちが、問題文には書かれていないはずの正解パッチを、寸分違わず丸暗記してたことがバレたの」
🐹 もっちー「え！？丸暗記て、それカンニングやん！」
🦜 きなこ「落ち着いて。まさにその『カンニング』が起きてたかもしれないって話なの」
🦜 きなこ「しかもそれだけじゃないの。テストの正解・不正解を判定するシステム自体も、詳しく調べたら6割近くが壊れてたっていう、二重の欠陥まで見つかったんだよ」
🐹 もっちー「ちょっと待って……今まで見せられてたスコアって、一体何だったの……」
🐹 もっちー「僕がすごいすごいって思ってた数字、実は怪しかったってこと……？」
🦜 きなこ「落ち込まなくて大丈夫。今日はその謎を、一緒に順番から解きほぐしていくから」
🦜 きなこ「その謎、順番に全部暴いていくね。最後まで見れば、これからどんな数字を信じればいいのか、自分なりの見極め方が分かるようになるよ」
見放された看板ベンチマーク
🐹 もっちー「でもさ、なんでよりによってOpenAIが自分の得意分野のベンチマークをやめるなんて言い出したの？普通はもっと宣伝したいものじゃない？」
🦜 きなこ「そう思うよね、私も最初はそう思ってた。でも2026年2月23日、OpenAIが公式ブログで発表したの——『SWE-bench Verifiedはもう最先端のコーディング能力を測れていない』って」
🐹 もっちー「そもそもSWE-bench Verifiedって、AIに簡単な穴埋めクイズをやらせるテストなんでしょ？よく分かんないけど」
🦜 きなこ「ちょっと違うよ。実際のGitHubリポジトリで起きた本物のバグ報告を渡して、AIにコードを直させる仕組みなの」
🦜 きなこ「その修正が正しいか自動テストで判定するから、『実務に近い実力』を測る指標として業界で重視されてきたんだよ」
🐹 もっちー「へえ、めちゃくちゃちゃんとしたテストじゃん。それがなんで信用できなくなったの？」
🦜 きなこ「しかも実務に近いってだけあって、企業がAIの営業資料でもよく引用する定番の指標だったの。だからこそ、その信頼性が崩れたことの影響は大きいんだよ」
🦜 きなこ「理由は大きく2つあるの。1つは訓練データの汚染、もう1つは採点システム自体の欠陥。どっちも単独じゃなくて、両方揃ってスコアの信頼性を崩してたの。順番に見ていくね」
🐹 もっちー「二重の欠陥なんて聞いたことないで！めちゃくちゃやん！」
🦜 きなこ「しかもこの騒動、SWE-bench Verifiedだけで終わる話じゃなくて——実はこれ、後継として使われてるSWE-bench Proっていう別のベンチマークでも似たような問題が噴き出してるの」
🐹 もっちー「え、他のベンチマークにまで飛び火してるの！？もう業界全体の問題ってこと？」
🦜 きなこ「でもこれ、単に『難しくなったから引退』みたいな話じゃないの。理由を聞いたらちょっとゾッとするよ」
答えを暗記していた証拠
🐹 もっちー「さっき言ってた『答えを丸暗記してた証拠』って、具体的にどういうこと？モデルがカンニングしてるところなんて誰も見てないでしょ？」
🦜 きなこ「誰も見てないから今まで見過ごされてきたんだけど、ちゃんと痕跡は残ってたの」
🦜 きなこ「実は見えるんだよ。OpenAIが自分たちで分析したところ、テストした全モデルが妙なことをしてたの」
🦜 きなこ「問題文には出てこないはずの『正解パッチ』の中身を、一字一句そのまま出力できてたことが分かったの」
🐹 もっちー「問題文にないのにどうやって？」
🦜 きなこ「百聞は一見にしかず、だよね。具体例を3つ紹介するね」
🦜 きなこ「たとえばDjangoの認証まわりのバグ修正で、あるモデルがヒントだけから正解パッチをほぼそのまま再現できたの」
🦜 きなこ「別のモデルは正解パッチのコード内コメントまで一字一句引用してたし」
🦜 きなこ「あるモデルに至っては、タスク番号だけ渡されて完全な修正差分を出力できたりしたの」
🐹 もっちー「え！？コメントまでパクるなんて、それもう答え見ながらテスト受けてるようなもんやん！」
🦜 きなこ「そう、これが『データ汚染（コンタミネーション）』って呼ばれる現象——モデルが訓練される過程で、ベンチマークの問題と答えのセットをこっそり見ちゃってた状態のことを指すんだよ」
🐹 もっちー「でもなんでそんなことになるの？誰かがわざと答え仕込んでるわけじゃないんでしょ？」
🦜 きなこ「わざとじゃないの。ネット上の大量の文章でAIを訓練する過程で、ベンチマークの問題やその解説記事がたまたま紛れ込んじゃうことがあるの」
🦜 きなこ「しかもクローズドなAIだと訓練データの中身を外から確認できないから、汚染の有無を追跡するのがほぼ不可能なんだよ」
🐹 もっちー「じゃあ今まで各社が発表してた高スコアって、本物の実力なのか丸暗記なのか、外からは区別がつかないってこと……？」
🦜 きなこ「じゃあこの丸暗記、どうやって見つけて防いでるのか気になるよね。それは後半でちゃんと話すね」
🐹 もっちー「気になる……！」
🦜 きなこ「しかも問題はこれだけじゃないの。もう一つ、もっと厄介な欠陥が見つかってるんだよね」
正解の判定自体が壊れていた
🐹 もっちー「え、暗記の話だけでもお腹いっぱいなんだけど、まだ欠陥があるの？」
🦜 きなこ「そう思うよね。でもこっちの欠陥、実は暗記の話より根が深いかもしれないの」
🐹 もっちー「どういうこと？詳しく教えて」
🦜 きなこ「結論から言うね。今度は、正解かどうかを判定する採点システムそのものに欠陥があったの」
🐹 もっちー「採点が間違ってたって、正しいはずの答えを不正解にしちゃってたってこと？」
🦜 きなこ「そうなの。OpenAIがモデルの失敗が多かった27.6%のサブセットを詳しく監査したの」
🦜 きなこ「そうしたら、少なくとも59.4%の問題で、正しく修正できているのに間違いと判定される欠陥テストが見つかったの」
🐹 もっちー「じゃあもう、SWE-benchのスコアなんて何一つ信じられへんってことでしょ！？全部デタラメじゃん！」
🦜 きなこ「そこまでは言い切れないの。データ汚染とテストの欠陥は原因がまったく別の問題で」
🦜 きなこ「しかも欠陥が見つかったのは『モデルが特に失敗しやすい』一部の問題に集中してたの」
🦜 きなこ「全部が全部おかしいわけじゃなくて、『どの数字をどこまで信じるか』の線引きが必要になったってことなんだよ」
🐹 もっちー「なるほど……全滅ってわけじゃないんだ。でも2つも欠陥があるなんて、業界の評価ってどれだけ杜撰だったの……」
🐹 もっちー「27.6%とか59.4%とか数字が2つ出てきたけど、結局どのくらいの規模の話なの？」
🦜 きなこ「整理するね。27.6%は『失敗が多かったから詳しく調べよう』と選ばれたサブセットの割合。59.4%は、その絞り込んだサブセットの中で欠陥テストが見つかった割合なの」
🦜 きなこ「だから『全体の59.4%が欠陥』ってわけじゃなくて、『疑わしい一部を調べたら6割近く怪しかった』っていう意味だよ」
🦜 きなこ「杜撰っていうより、AIモデルの進化のスピードに、ベンチマークを作る側の検証体制が追いついていなかった、っていう表現の方が近いかな」
🐹 もっちー「ふーん……で、この話、SWE-bench Verifiedだけの問題なんでしょ？」
🦜 きなこ「ここまでがSWE-bench Verifiedの話。でも実はもう一つ、後継として使われてるSWE-bench Proでも似たにおいのする話があるの」
🐹 もっちー「え、後継のベンチマークでも……？」
自己申告と第三者測定のズレ
🦜 きなこ「白状すると、この話を調べてて私も『え、そんなに違うの？』って驚いたの」
🐹 もっちー「何が違うの？」
🐹 もっちー「きなこでも驚くことなんてあるんだ」
🦜 きなこ「SWE-bench Proっていう後継ベンチマークがあるんだけど、企業が自分で発表してるスコアと、第三者が測定したスコアの間に差があるって言われてるの」
🦜 きなこ「その第三者っていうのが、Scale AIっていう会社なんだよ」
🐹 もっちー「自分の会社の発表とか、そもそも話盛ってたりするものなの？」
🦜 きなこ「そこは正直に言うね。ネット上や一部の記事では、かなり具体的な数字が語られてることがあるの」
🦜 きなこ「『企業の自己申告だと69%くらいなのに、第三者の標準化測定だと52%くらいしかない』みたいな数字だね」
🦜 きなこ「でもこの動画のリサーチでは、その2つの正確な一次発表そのものは公式資料で裏取りしきれなかったの」
🦜 きなこ「だから『乖離がある』っていう話の流れは伝えるけど、具体的な何ポイント差かは断定しないでおくね」
🐹 もっちー「え、じゃあ確かな数字は何も無いの？」
🦜 きなこ「ちゃんと確認できてる数字もあるよ。Scale AIが自分たちで公開してるリーダーボードがあるの」
🦜 きなこ「そこだといちばんスコアが高いAnthropicのモデル——Claude Opus 4.5でも45.89%、プラスマイナス3.60っていう数字なの」
🦜 きなこ「これは一次資料で確認済みだよ」
🐹 もっちー「45%て、思ったよりめっちゃ低いやん！企業の発表ってもっと高い数字やった気がするけど……」
🦜 きなこ「そうなの。しかもScale AIの測定はコスト無制限・250ターンまでOKっていう、全モデル共通の条件で揃えてるの」
🦜 きなこ「企業ごとにバラバラの条件で測った数字と、条件を統一して測った数字は、同じ土俵で比べちゃいけないんだよね」
🐹 もっちー「つまり、発表する側が測り方を選べるなら、良く見える条件を選びたくなるのも自然ってこと？」
🦜 きなこ「そこまで断定はしないけど、少なくとも『発表条件が違えば数字も変わる』っていうのは覚えておいた方がいいよ」
🐹 もっちー「なるほど……さっきの『自己申告と第三者測定がズレてる』って話、これのことだったんだ」
🦜 きなこ「じゃあなんでこんな乖離が起きるのか——実はさっきの丸暗記の話と根っこは同じで、汚染を完全には防ぎきれてないことが関係してるの」
汚染はなぜすり抜けるのか
🐹 もっちー「汚染って言うけど、そんなの事前にチェックして弾けないの？」
🦜 きなこ「実は、その汚染をチェックする仕組み自体が、意外と簡単にすり抜けられちゃうことが研究で分かってるの」
🐹 もっちー「え、どうやって？」
🦜 きなこ「ポイントは、汚染を見つける仕組みそのものが単純な文字列の一致比較に頼りがちだったってこと」
🦜 きなこ「よくあるチェックは、テスト問題の文章とAIの訓練データを文字列レベルで照合するやり方なの」
🦜 きなこ「でも問題文を少し言い換えたり、別の言語に翻訳したりするだけで、その照合をすり抜けられちゃうの」
🦜 きなこ「実際、ある研究では13億パラメータの小さいモデルが、この方法でGPT-4並みの性能に見せかけられたって報告されてるんだよ」
🐹 もっちー「13億のモデルがGPT-4並みに見せかけられるって、そんなんもう数字の意味なくなるやん！」
🦜 きなこ「実際にそのくらい歪められる余地があるってこと」
🐹 もっちー「他にも具体的な汚染の実例ってあるの？」
🦜 きなこ「うん、コーディング系のベンチマークだと、実際に数字として計測されてる事例がいくつも報告されてるの」
🦜 きなこ「コーディング系のベンチマークで具体的に計測した研究があって、あるベンチマークでは10.6%の問題がAIの訓練データにリークしてたことが確認されてるの」
🦜 きなこ「別のベンチマークでは、リークした問題の正解率が、リークしてない問題の正解率のおよそ4.9倍にまで膨らんでたの」
🐹 もっちー「4.9倍って、ほぼ別物のスコアになってるってことじゃん……」
🦜 きなこ「うん、それくらいインパクトが大きいの」
🐹 もっちー「そんなに簡単に歪められるなら、比較すること自体が意味ないんじゃない……？」
🦜 きなこ「気持ちは分かるけど、そこで諦めちゃダメなの。だからこそ研究者たちは対策を必死に考えてるんだから」
🐹 もっちー「うわ……これもう何を信じたらいいのか分からなくなってきた」
🦜 きなこ「これだけ聞くと絶望的だけど、実はちゃんと対抗策も研究されてるの」
汚染に対抗する新しい評価設計
🐹 もっちー「対抗策って、汚染をどうやって防ぐの？」
🦜 きなこ「大きく分けて3つのアプローチが研究されてるの。順番に紹介するね」
🦜 きなこ「1つは、そもそも『覚えられないベンチマーク』を作るっていう発想」
🦜 きなこ「たとえばLiveCodeBenchっていう仕組みは、LeetCodeとかCodeForcesみたいな競技プログラミングサイトから、新しい問題を継続的に集め続けてるの」
🐹 もっちー「新しい問題を集め続けたら、それで何が変わるの？」
🦜 きなこ「モデルが訓練された時点より後に作られた問題だから、答えを事前に見てるはずがないの」
🦜 きなこ「実際、あるモデルは訓練の締め切りより後の問題になった途端、正解率がガクッと落ち込んだの」
🦜 きなこ「暗記じゃ通用しないことが、これで証明されたってこと」
🐹 もっちー「なるほど！時間差で答え合わせすれば、暗記かどうかバレるってことか！」
🦜 きなこ「そういうこと。ほかにも、テストデータの中にこっそり『透かし』のような仕掛けを混ぜ込んでおく方法もあるの」
🦜 きなこ「モデルの出力にその透かしが再現されたら、汚染確定っていう検知方法も研究されてるんだよ」
🐹 もっちー「偽造防止の透かしみたいな発想だ」
🦜 きなこ「そうそう、その発想。しかも偽陽性——間違って『汚染してる』って判定しちゃう確率まできちんと計算できる設計になってるの」
🦜 きなこ「うん。さらに一歩進んで、そもそも『訓練しても学習できないけど、テストには使える』っていう汚染耐性ベンチマークを設計しようっていう提案も出てきてるの」
🐹 もっちー「さっき言ってた『丸暗記をどうやって見つけて防ぐか』、これで解決ってこと？」
🦜 きなこ「完全に、とまでは言えないけど、少なくとも『何もできない』状態からは前進してるよ」
🐹 もっちー「汚染する側と検知する側のイタチごっこが、これからもずっと続いていくってことだね」
🐹 もっちー「評価の世界も、ちゃんとイタチごっこしながら進化してるんだね」
🐹 もっちー「評価する側もされる側も、これからどんどん賢くなっていくってことだね」
🦜 きなこ「そういうこと。ただ、ここまでの話を並べてみると、一つだけ見落とせない共通点があるの」
まとめ
🐹 もっちー「今日の話、正直めちゃくちゃ勉強になった。ベンチマークのスコアって、なんかもう絶対的な正解みたいに思ってたよ」
🐹 もっちー「OpenAIが自分で自分のベンチマークを見放すなんて、そんな展開想像もしてなかったし」
🦜 きなこ「うん。でも今日分かったのは、どんなスコアにも『誰が・どんな条件で測ったか』っていう前提が必ずくっついてるってことなんだよね」
🦜 きなこ「データ汚染も、採点システムの欠陥も、自己申告と第三者測定のズレも、全部この前提を無視すると見えなくなってしまう話だったよね」
🐹 もっちー「これ、保存しとこ！スコアを見るときにチェックすべきポイントってことだよね」
🦜 きなこ「そうだね。誰が測ったか、どんな条件で測ったか、第三者による検証があるか——この3つを確認する癖をつけるだけでも、発表される数字の見え方がだいぶ変わってくるはずだよ」
🐹 もっちー「テストの点数だけ見て一喜一憂してたけど、これからはちゃんと中身まで見るようにするよ」
🐹 もっちー「そういえばさ、今日のリサーチ、飼い主のタブレットめちゃくちゃ使ったよね。バレてないかな……」
🦜 きなこ「大丈夫、ちゃんと元の場所に戻しておいたから。それより今回の動画、リサーチにかなり時間かけて調べたから、見てくれた人には自信を持っておすすめできるよ」
🐹 もっちー「でもさ、ベンチマークの信頼性って話、AIの安全性とかにもつながってきそうじゃない？」
🦜 きなこ「実はこの汚染の話、AIの安全性評価とかアラインメント検証にもつながってる話でね……それはまた別の動画で深掘りしたいな」
🐹 もっちー「気になる！絶対見に行くよ」
🐹 もっちー「みんなは、AIの発表するスコアってどこまで信じてる？コメントで教えてほしいな」
🦜 きなこ「研究者たちの間でも、まだ議論が続いてる話だからね。みんなの感覚も聞いてみたいな」
🐹 もっちー「僕もこれからは、AIのすごい数字を見ても、まず出どころを確認するようにするよ」
🦜 きなこ「今日も最後まで見てくれてありがとう」
🐹 もっちー「というわけで、今日の深掘りはここまで！」
きなこもっちーのテック深掘り では、AI/LLM を中心としたテック全般をハムスター（🐹 もっちー）とセキセイインコ（🦜 きなこ）の掛け合いで楽しく解説しています。
▶️ 動画で観る → 「SWE-bench合格」は信じるな――AIベンチマーク汚染の正体
👍 この記事が役に立ったら LGTM・ストックしてもらえると励みになります！
📺 チャンネル登録はこちら → きなこもっちーのテック深掘り
🔗 他の解説動画も見る → きなこもっちーのテック深掘り の動画一覧