数学を解くAIは、年々賢くなっている。でも難しい問題で間違えるとき、その主な原因は計算ミスではなかった。「どう解くかの糸口を、自分で思いつけない」ことだった。
原因の場所が分かれば、AIにうまく解かせるコツも見えてくる。今回はその最新研究を読み解く。
目次
- 正解率では見えなかった「つまずく場所」
- 答えを見れば分かるのに、自分では気づけない
- 糸口を一言渡すと、正解がぐっと増える
正解率では見えなかった「つまずく場所」
これまでAIの数学力は、「最後の答えが合っていたか」で測ってきた。合否しか分からないので、途中のどこで転んだのかは見えない。
研究チームは、解く流れを4つの段階に分けた。問題からカギを見つける段階。ふつうに通しで解く段階。正解の解き方を見てカギを言い当てる段階。カギをもらってから解く段階。この4つだ。
ここでいうカギとは、その問題が解ける理由になる核心のひらめきを指す。論文では数学プリミティブと呼ぶ。ある定理が使える条件に気づく、見方を変える、といったものだ。計算そのものではない。
段階に分けて12個のモデル(GPT・Qwen・DeepSeekなど)を調べると、意外な結果が出た。AIが解けなかった問題の83.6%で、カギ探しにも失敗していた。計算ではなく、入口のひらめきで止まっていたのだ。
答えを見れば分かるのに、自分では気づけない
おもしろいのは、同じモデルでも場面で差が激しいことだ。ある公開モデル(27B規模)は、問題だけからカギを見つけられたのは約25%だった。ところが、正解の解き方を見せて「カギはどれ?」と聞くと、約92%も言い当てた。
カギを見せられれば「なるほど」と分かる。でも、自分ではそれを思いつけない。テスト前に解答を読むと分かった気になるのに、本番の白紙からは手が出ない。あの感覚に近い。
ここは私も実務で引っかかる点だ。AIの賢さを1つの正解率で語ると、こういう弱点が丸ごと隠れてしまう。ソフトのバグ探しと同じで、工程に分けて初めて原因が特定できる。
カギを渡さない: 問題 → AI → 2〜3割しか解けない
カギを渡す: 問題＋カギ → AI → 正解が18〜30点アップ
矢印は問題を解く流れ、箱はAIに渡す中身だ。問題だけを渡すか、「解き方のカギ」を先に添えるか。この違いだけで、同じAIでも正解率が大きく変わる。実際この研究では、カギを先に教えると12モデルすべてで正解が18〜30ポイント上がった。
糸口を一言渡すと、正解がぐっと増える
ここから使い方が見えてくる。AIが難しい問題で止まったら、答えそのものではなく「方針の糸口」を一言添えるのが効く。「まず不変量を考えて」「この定理が使えないか」といったヒントだ。答えを教えるのとは違う。考える入口だけを渡す。
研究チームは、これを学習にも応用した。先生役のモデルにだけカギをヒントとして渡し、その考え方を小さなモデルにまねさせる(蒸留と呼ぶ手法)。カギを丸暗記させるのではなく、たどり着く筋道を移す。これで小さなモデルの正解が数ポイント伸びた。派手ではないが、ただ量を増やす学習より素直に効いている。
コードと解説はチームの公開ページにある。
📌 今日覚えること
- AIが難しい数学でつまずく主因は、計算ミスより「解き方の糸口が見つからない」こと。解けなかった問題の8割がこれに絡む。
- 答えを見せればカギを9割言い当てるのに、自力だと2〜3割。見抜く力と、思いつく力は別物だった。
- AIが行き詰まったら、答えではなく「方針のヒント」を一言。あなたのチャットでも今日試せる。
※本記事は一次情報の調査をAIが行い、事実確認のうえ執筆・公開しています。