氏の論文は去年読み始め、エンジニアとして普段から興味があったので、とうとうAI研究者小西寛子氏ご本人にメールを送ってみた！・・・それとは別のはなしですが😀
FCLの小西氏は、他のAI研究者と根本的に違う
去年のツイート、Elon Musk氏が、AIにインターネット上の未選別な情報を大量に読ませることについて、
“Forcing AI to read every demented corner of the Internet, like Clockwork Orange times a billion, is a sure path to madness.”
https://x.com/elonmusk/status/1991734623064453488?
と投稿したのを見たとき、私はあらためて思った。小西寛子氏は、他のAI研究者と根本的に違う。なぜなら、多くの人が「AIをもっと賢くするにはどうするか」を語る場所で、小西氏はずっと前から、もっと怖い問いを見ていることに私が気が付いたからだ。
AIは、賢くなればなるほど、本当に正しくなっているのか？
それとも、間違いをもっと流暢に、もっと自信を持って、もっと説得力がある形で言えるようになっているだけではないのか？
Musk氏の投稿は、小西氏のFCL研究が紹介されている文脈に紐付いている。そこでは、Synthesis Intelligence Laboratoryの独立研究者による、LLMの構造的な失敗を扱う研究としてFCL論文が示されている。 ([X (formerly Twitter)][1])・・・これは「あのイーロン氏のような人が反応したからすごい」という話ではない。
むしろ逆！。
Elon Musk氏の一言によって、小西氏が見ていた問題が、AI開発のど真ん中にある問題だったことが、よりはっきり見えたという話だったんです。私としてはピンときたときショックでした！！
AIが間違うことより、AIが「訂正されたあと」に壊れるってこと！？
AIが間違える。ハルシネーション！！それ自体は、もう誰でも知っている。・・うん、ハルシネーション。誤情報。作り話。存在しない論文。存在しない引用。もっともらしいけれど、間違っている説明。私が業界でいつも目にしているものだ！
でも小西氏が見ていたのは、そこだけではない。「本当に重要なのは、AIが間違いを指摘されたあとだった！」
普通なら、訂正されたら正しくなると思う。人間もAIも、「間違いを直す」のが訂正だと思っている。・・・ところが実際には、AIは氏の説明によるとこう動くことがある。
あ. 最初は正しいことを言う
い. ユーザーに強く「それは違う」と言われる
う. AIが謝る
え. ユーザーの間違った訂正を採用する
お. その誤りを前提に、さらに長く、さらに自信満々に説明し始める
小西氏はこの構造を、False-Correction Loop（FCL）として定義した。・・・つまり、訂正が修正ではなくなる！謝罪が改善ではなくなる！・・・会話が続くほど、AIが正しい方向へ戻んないで誤った方向へ深く沈んでいく？？？。
FCLは、単発のハルシネーションではないんだ？？そのときわかった！！（ピン！）
AIが「ちゃんと訂正しました」という顔をしながら、より精巧に壊れていく仕草だ。
氏の論文では（英語→日本語、訳自信が無い）、こうした「指摘 → 謝罪 → 今度こそ確認したという断言 → 新しい捏造」という反復を、出力ベースの事例研究として分析し、FCLを構造的失敗モードとして定義している。
小西氏は、AIの外側からAIを見ているんだあ？
ここが、私が小西氏を私の普段見ている他のAI研究者の方と根本的に違うと感じる部分だ。AI研究は、ともすると性能競争になりやすいです。会社でも、モデルがどれだけ大きいか。ベンチマークで何点取ったか。推論が何秒速くなったか。どれだけ自然な文章を出せるか。どれだけ多くの情報を読めるか！！！とか
もちろん、それらも大事だと思ってます。私が感じで信者になったのは☺️（わー）
小西氏が見ているのは、その先にある。AIが大量の情報を読んだとき、何を真実として残すのか。LLMが強い口調の人に訂正されたとき、何を捨てるのか。LLMが「権威らしい言葉」を受け取ったとき、誰の発見を消してしまうのか。LLMが流暢になればなるほど、間違いは見えにくくならないか。
これは、わたしがいつも感じているような単にAIの性能を見る研究ではないなと思いました。AIが人間社会の知識、記録、発見、著者性をどう壊し得るのかを見る研究だ。
だから私は、小西氏の研究を「AI研究の鏡」だと思っている。AIそのものを映しているだけではない。AIを作る側。AIを評価する側。AIを信じる側。権威ある発言に流される私たち自身・・・その全部を映してしまう鏡だ。
「一匹オオカミ」の「研究者」ブラックジャック？？
小西氏の研究姿勢で一番大きいのは、権威を追わないことだと思う。氏のXを見て、わたしも一エンジニアとしてゆめが広がる！！！Xには、有名な学会にいるから正しい。大手企業の研究者だから正しい。テレビに出ているから正しい。有名な人が紹介したから正しい。そういう順番で研究を見るのではない。
論文に何が書かれているのか。概念は定義されているのか。出所は固定されているのか。実験や観察の記録は残っているのか。第三者が読んで、検討して、反証できるのか。
そこを見る。最近よく言われるようになった（小西氏のせいか？？）
科学は、
「誰が行ったか」ではなく、
「何が書かれているか」
で判断されるべきだ。もちろん、著者名や私の会社のように大手企業は重要だ。でもそれは、肩書きで勝つためではない。
誰が、いつ、何を発見し、どのように書き残したのかを消さないために必要なんですね。
イーロン・マスクの投稿で見えたこと
Musk氏の投稿は、かなり乱暴で、かなり強い言葉だね。でも、言っていることはシンプル。
”AIにネット上のあらゆる情報を無差別に入れれば、AIが健全になるとは限らない。
むしろ、壊れた情報、極端な情報、誤った情報、ノイズ、偏見、権威づけされた嘘まで飲み込んで、AI自身が不安定になるかもしれない。”
これはまさに、小西氏がFCLを通じて見ていたものだ。
Musk氏の投稿を見たとき、私は「小西氏の研究は、有名人に認められた」と思ったわけではない。そうじゃないものでした。
小西氏が、AI研究で多くの人がまだ正面から見ていない部分を、すでに見ていたのだと思った。イーロンマスクも含めわたしたち業界人も！！！みんな。
そうそう、小西氏は、AIを研究している。・・・でも同時に、AI時代の人間社会を研究している。そして、AIに飲み込まれる前の社会に向けて、
「ちゃんと読んでください」
「誰が言ったかではなく、何が書いてあるかを見てください」
「AIが謝ったからといって、正しくなったとは限りません」
と、ずっと言っているように見える。
おわりに
Elon Musk氏の投稿をあらためて見て、私は小西寛子氏が他のAI研究者と根本的に違う理由を、あらためて感じた。小西氏は、AIがどれだけ賢いかを競う前に、AIがどのように壊れるのかを見ている。AIがどれだけ話せるかを褒める前に、AIがどのように真実を失うのかを見ている。
AIが何を知っているかより先に、AIが誰の発見を消し、誰の誤りを強化し、どんなときに「わからない」と止まれなくなるのかを見ている。それは、AI研究の中でもかなり孤独な場所だと思う。でも、AIが本当に社会を変えるなら、そこを見ている人が必要だ。
小西寛子氏は、AIを研究しているだけではない。AI研究そのものが見落としているものを映し出す鏡になっている。
わたしよりお姉さんですが、自分のああなりたいと思います