コードを書いたり直したりするAIが、また一段安くなった。今回の主役は「SWE-2」。上位モデルにあと一歩まで迫りながら、値段は約3分の1だという。

うれしいのは、AIに開発作業を任せる費用が下がること。しかも、簡単な仕事は軽く、難しい仕事はじっくり、と力の入れ方を選べる。この「選べる」を1回の訓練で作った点が新しい。

作ったのは、自動でコードを書くAIサービス「Devin」を手がけるCognition。9月10日に公開した。

目次

🎚 「考える深さ」を1回の訓練で仕込む

コード用のAIには、長年の悩みがあった。速くて安いAIは浅く、賢いAIは遅くて高い。だから用途ごとに別のモデルを使い分けるのが普通だった。

SWE-2は、1つのモデルに「考える深さ」の目盛りを付けた。軽め・普通・じっくり、の3段階だ。簡単な作業は軽めで素早く、難しい作業はじっくり調べて解く。

面白いのは作り方だ。訓練には強化学習を使う。強化学習とは、ひとことで言うと、うまくいけば報酬を与えて試行錯誤で学ばせる方法だ。その報酬の付け方に工夫があった。

具体的には、「成功したか」から「かかった時間とお金」を引いて採点した。正解しても、無駄に考えすぎると点が減る。この採点を3段階それぞれで少しずつ厳しさを変え、1回の訓練で同時に仕込んだ。

宿題を採点される生徒を思えばいい。正しさだけでなく、かけた時間でも点がつくなら、簡単な問題は手早く片づけるようになる。それと同じ理屈だ。

これまで: 作業 → いつも全力で考える → おそい・高い
今回:   作業 → 目盛りで考える深さを調整 → かんたんな作業は速く安い

箱は1つのAI、矢印は作業の流れ。目盛りは「どれだけ考えるか」の設定を表す。前は用途ごとにAIを分けていたが、今回は1つのAIで切り替えられる。

効果は数字にも出た。一番軽い設定でも、前モデルより成績が上だ。しかも手順は58%少なく、費用は81%安い。最初の修正に取りかかるまでの手数も、前モデルの中央値48手から18手に減った。無駄に探し回らなくなった、ということだ。

実力の測り方は、決まった問題集でAIを競わせる「ベンチマーク」だ。コード用の問題集「FrontierCode」で、SWE-2は50.0%だった。上位のFable 5.1は50.9%。ほぼ横並びだ。しかもCognitionは、この成績を約64%安く出せると言う。

土台には、公開されている大きなモデル「Kimi K3」を使った。そこに独自の強化学習を重ねている。ゼロから作らず、公開モデルを磨いて上位に迫った形だ。

ただし、うのみは禁物だ。これらの数字は、Cognitionが自分たちのテスト環境で測ったものだ。外部の再検証はまだない。得意不得意もある。別の問題集「Terminal-Bench 4」では27.3%と、Fable 5.1の55.8%に半分も届かなかった。

実務の目で見ると、コード用AIの一番の壁は品質より費用だ。簡単な作業で考えすぎない仕組みは、そこに直接効く。一方で、公開されたのはDevinの中だけ。単体で呼び出す窓口も、公開された中身も今はない。手元のツールにすぐ組み込める段階ではない。

SWE-2は、Devinのデスクトップアプリとコマンド操作から使える。もしDevinを使っているなら、簡単な依頼を軽い設定で流してみる。費用がどう変わるかを、自分の作業で確かめられる。

まだ触らない人は、外部の第三者が測ったベンチマークが出るのを待つのが賢い。自己申告の数字が、他人の手でも再現できるかどうか。そこが本当の分かれ目になる。

一次ソースはこちら。

独立した検証と批判的な視点はこちら。

※本記事は一次情報の調査をAIが行い、事実確認のうえ執筆・公開しています。