0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

大手AIが見逃したcurlのバグを、小さな専用AIが6件見つけた

0
Posted at

ネット越しにデータをやり取りする定番ソフトに「curl(カール)」がある。
世界中のパソコンやサーバーで動く、縁の下の道具だ。
そのcurlで、小さな欠陥が新たに6件見つかった。

驚きは、見つけた相手だ。
OpenAIやAnthropicの大きなAIが、先に調べていた。
その後で、無名の小さな専用AIが6件を掘り当てた。
9月2日公開の新版「curl 8.22.0」での話だ。

ひとことで言えば、狭い仕事なら小さなAIが大きなAIに勝てる、という実例だ。
AIを使う開発者には、実際に効く教訓になる。

目次

  • 大手AIの後で、小さなAIが6件見つけた
  • なぜ「小さくて専用」が勝てたのか
  • すごいけれど、浮かれる前に

大手AIの後で、小さなAIが6件見つけた

curlは世界で最もよく点検されているソフトの一つだ。
作者はDaniel Stenberg(ダニエル・ステンベリ)さん。
大手のAIツールにも、ふだんから中身を調べさせている。

だが今回、大手のツールは新しい欠陥を出せなかった。
そこへ「AISLE(アイル)」という会社の小さなAIが報告を送った。
送った29件のうち6件が、正式な欠陥番号(CVE)として登録された。

CVEとは、公に登録された欠陥の背番号のことだ。
今回の6件は、どれも危険度が低め(Low)と公式に格付けされている。
作者の公開記事に一覧がある。

この回のcurlでの結果を並べると、こうなる。

ツール 提供元 この回のcurlでの結果
Codex Security OpenAI 新たな指摘なし
Mythos Anthropic 新たな指摘なし
AISLE 小さな専用AI 6件がCVEに

「新たな指摘なし」は、curl作者の記録による、その時点での状態だ。
6件という数字はAISLEの発表による。

なぜ「小さくて専用」が勝てたのか

AISLEを作ったのはStanislav Fort(スタニスラフ・フォート)さん。
その説明が分かりやすい。
欠陥さがしは、頭の良さを競うテストではない。
むしろ「総当たりの探し物」に近いという。

フォートさんは、次のような趣旨の説明をしている。
一人の天才より、大勢で手分けして全部屋を同時に調べる方が向いている、と。

図にすると、こうなる。

これまで: [コード] → [大きなAI1つに丸投げ] → 見落とし
今回  : [コード] → [小さなAIで手分け]   → 6件発見

[ ]は処理のまとまり、矢印は流れを表す。
左端がソフトの中身(コード)、右端が結果だ。
大きなAI1つに任せるより、手分けした方が多く見つかった。

フォートさんは、これを「モデルより仕組みが大事」と呼ぶ。
使うAIは、市販や公開ずみのもので足りるという。
差がつくのは、その周りの作りだ。
コードの下ごしらえや、誤検知(見当違いの警告)を消す工夫が効く。
AISLEは会社のパソコンの中だけで動く。
コードを外に出さずに調べられる、とも書いている。

すごいけれど、浮かれる前に

正直に言えば、6件はどれも危険度が低い。
世界を揺るがすバグではない。
それでも、監視が最も厳しいコードで拾えた事実は重い。
大手が空振りした横で、見つけたからだ。

ここから、開発の現場で効く見方が出てくる。
「まず一番大きいモデルを選ぶ」という反射は、やめてよい。
仕事がせまく、やることがはっきりしているとする。
なら小さなモデルに丁寧な仕組みを足す方が、速くて安い。
しかも手元で動くので、コードを外に出さずに済む。

一方で、影の面もある。
curlはAIの報告が増えすぎて、今年は7月を丸ごと受付停止にした。
年間の欠陥報告は50件近くに届く見込みだという。
AIは当たりも外れも増やす。
最後に選り分ける人の負担は、むしろ増えている。

今日覚えること

  • 狭い作業では、小さな専用AIが大手AIに勝つことがある。curlで実証された。
  • AIは「一番大きいモデル」が常に正解とは限らない。目的に合わせて選ぶ。
  • 見つかった6件はどれも危険度は低め。すごさと大げささは分けて読む。

※本記事は一次情報の調査をAIが行い、事実確認のうえ執筆・公開しています。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?