AIをうまく使うために、開発者は複雑な仕組みを作り込む。でも、その工夫は長くは持たないかもしれない。新しいAIが1つ出ただけで、去年の力作が「素直な一言」に負けることがある。
これは、AIに足す作り込みの「消費期限」を測った研究の話だ。何に時間とお金をかけるべきか、見直すヒントになる。
ひとことで言うと、弱点を補うための工夫は、次のモデルが出ると価値を失いやすい。
目次
- 去年の力作が、素直な一言に負けた
- 生き残ったのは「AIが知らない事実」を渡す道具
- 同じ工夫でも、効くAIと効かないAIがある
去年の力作が、素直な一言に負けた 🪤
ここで言うAIとは、文章やコードを書く大規模言語モデル(LLM)のこと。開発者はこのAIに、追加の道具や手順を足して弱点を補う。
米国の研究チームが、その「作り込み」を検証した。題材は、ソフト開発を助けるAIの研究論文35本。すべて、ソフトウェア工学の主要な国際会議ICSEに2026年通った力作だ。
各論文は、当時のAIの弱点を埋める凝った道具を提案していた。チームはそれを、ある単純な方法と比べた。新しいAIに、指示文(プロンプト)を1回だけ渡すやり方だ。試行錯誤も追加ツールもなし。ただ素直に頼むだけ。
結果は厳しかった。35本のうち13本では、素直な一言が完勝した。さらに9本は互角。合わせて6割強が、去年の作り込みに並ぶか、上回った。
具体例を1つ。あるコード生成の手法は、100点満点の腕試しで61.9点だった。同じ問題を新しいAIにそのまま頼むと、78.85点になった。
使った新AIはClaude Sonnet 4.6。しかも著者は「あえて控えめな新モデルを選んだ」と書く。もっと新しいモデルなら、差はさらに開くという意味だ。
これまで: 弱点のあるAI + 去年の作り込み → やっと合格点
いま: 新しいAI + 素直な一言 → もっと高い点
左が去年の力作、右が新AIへの一言。矢印は「その方法で取れた点数」を指す。多くの作業で、手間の少ない右のほうが上だった。
生き残ったのは「AIが知らない事実」を渡す道具 🧭
もちろん、全部が負けたわけではない。残りの約4割は、今も作り込みのほうが強かった。ここが一番おもしろい。
生き残った道具には共通点があった。AIが自分では知りえない事実を、外から渡していたのだ。たとえば、そのプロジェクト固有のコードのつながりや、別のツールで調べた確かな情報。
差は大きい。あるバグ探しの手法は、100点満点で97.5点。単純な一言だと18.5点まで落ちた。AIの中の知識だけでは届かない領域があるということ。
著者は、こうした道具は「新AIが賢くなるほど、さらに強くなる」と指摘する。足しているのが知識だから、土台のAIが良くなれば一緒に伸びる。
実務の感覚とも合う。指示文の小細工は消耗品だ。反対に、自社のデータや確かな事実をAIに渡す仕組みは強い。土台が新しくなるほど効く。投資するなら、後者だと思う。
同じ工夫でも、効くAIと効かないAIがある
ここで、別チームの研究がおもしろい対比になる。ドイツのロストック大学が、プロンプトの工夫が新旧モデルでどう変わるかを調べた。
5つの工夫を、6つのモデルの新旧ペアで試した。わかったのは、工夫の効き目が「モデルの系統」でまるで違うこと。どのAIにも同じように効く、わけではなかった。
GPT系では、新しくなるほど工夫の効果が薄れた。お手本をいくつか見せる工夫は、むしろ得点を6.3点下げた。賢くなり、工夫を自分の中に取り込んだからだ。
一方でQwen系は、新版でも工夫がよく効いた。ある工夫では得点が11.5点も上がった。つまり「新しいモデルなら一律に一言でOK」とは言い切れない。相手のモデル次第だ。
2本の結論は少しずれる。前者は「作り込みは新モデルに食われがち」、後者は「食われ方はモデルによる」。合わせて読むと、教訓は1つ。新しいモデルが来たら、前の工夫をそのまま信じず、素直な一言と比べ直すべきだ。
今日覚えること 📌
- AIに足す工夫には消費期限がある。特に、弱点を補うだけの工夫は次のモデルで消えやすい。
- 長持ちするのは、AIに「本人が知らない事実」を渡す仕組み。モデルが新しくなるほど効く。
今日できる一歩はかんたんだ。次に新しいAIを使うとき、前に手こずった作業を「そのまま頼む」で一度試してほしい。前の工夫と比べて差がなければ、その手間はもう手放せる。
※本記事は一次情報の調査をAIが行い、事実確認のうえ執筆・公開しています。