はじめに
threadsの投稿で、AIネイティブの「論文に従来研究との比較はもういらないLLMがあるから」と言う意味のつぶやきを見ましてふと調べごとを始めました。
従事研究との比較は、研究の立ち位置を明確にする為の論文の大事な要素なので、書き方は色々あっても問答無用で必要です。分野が始まる時に無い場合もありますが、こんな研究はなされたけど、ここをやっていなかったなどの書き方もするでしょう。先人への礼儀もあるでしょう。
そもそも学習してくる論文に性能比較が書いてあるから、LLMも比較を出力出来るのでは？とか思い、更には、何処まで論文に書いてあったらLLMは、手法の比較出来るんだろうかと考え出しました。
つまり、ブログや論文を書いて、LLMに内容を出力してもらう時に何処まで書けば良いのか疑問に思い調査をしだしました。
そもそも論文にアルゴリズムの比較がなくてもLLMは比較を出力出来るのか？
これをLLMに直接聞いて見ました。
研究の自動化の観点からか、結構研究されているようで、正確には出来ないと言うのが結論のようです。
正確に比較するには
- 評価指標の定義
- 評価条件（データ、ノイズ、ハイパーパラメータ）
- 実測結果または厳密な理論解析
が必要だが、
- 実験を新たに行えない
- 未公開データにアクセスできない
- 暗黙条件を検証できない
と言った理由で正確に評価出来ないとの事です。
LLM的にはあくまで補助的に使ってくれとの事です。
しかし、これ思ったのですが、特定の領域だと、ある程度条件与えたら、勝手にベンチマークデータ作成して、勝手にアルゴリズム実装して、勝手に実行して、勝手に評価してくれるようになる気がしてしまうんですよね。
研究の自動化とか言って何処かの企業がチャレンジしていたような気がしますけどどうなったんでしょうか。まだやってるのかな？
LLMのアルゴリズムの比較に関しては、ベンチマークを作成しても、表現しきれない所も多ので、特に自動化は難しいようですね。
結局どうなのか
今のところまだまだちゃんとした論文や記事を書く事は、LLMにとっても大切そうです。
さいごに
余談ですが、情報の入り口がLLMになってしまうと、従来のwebの広告モデルが破綻してしまう気がしています。既に悲鳴が聞こえている所もある気がします。
センスが無い感じですが、web会社がLLMのアクセスに対してお金を取るとかしないと成り立たない気がします。
電力問題もそうですが、新しい技術は色々問題も生みますよね。