はじめに
この記事は「ただただアウトプットを癖付けるための Advent Calendar 2024」に投稿した記事です。
最初の記事にも書いた通り、私は生物物理の実験を専門にしている研究者です。
最近はデータ解析のため機械学習のコード開発も行っており、幸いにもその成果がNeurIPSに採択されました。
今回は、NeurIPS2024に参加しての感想を書きます。
機械学習系のカンファレンスに参加するのは初めてでしたので、そういう前提でお読みいただければと思います。
また、内容は本当の本当に個人の感想です。半分以上、自分の備忘録として書いていますので、ご了承ください。
関連記事
前の記事 「【生物物理屋による論文紹介】マルチモーダル言語モデルによるマインクラフト学習 JARVIS-1」
次の記事「生物物理屋がファインチューニングに挑戦してみた話その１」
感想
NeurIPSに参加したのは、今回が初めてです。
上記の論文はあくまでも生物物理屋として、実験データの解析を主眼において開発したモデルについてのものでした。
そのために、NeurIPSのなかでもML for Physicsを選んで投稿したものになります。
かなり基礎研究を目したものになっているのですが、周りを見渡してみると、やはり応用が多くてややアウェイだなと感じられました。
私見ですが、応用の方になるにつれ、モデルの解釈可能性よりも精度や汎用性が重視されるように思います。
そうした中で、Transformer周り（もう少し言うとlatent space）の次元削減と修復によるモデル作成というのが、自分の知識と周囲との間で最も理解に差のある部分だと思いました。
個人的にはアレは、情報を圧縮しているがゆえに何をやっているのかよくわからず、多少の忌避感がありました。
しかし、もう少しその感覚を理解していかないと、もはやついていけないのだというのが、今回のNeurIPSでの感想です。