ICML2026聴講メモ
はじめに
本記事は、機械学習分野の国際会議であるICML2026@Seoulに初めて聴講参加した際の記録です。
はじめまして、東京大学工学部4年生の本郷颯人です。
東大AI研究会、という学生団体で運営に携わっています。
今回のICML2026についても、東大AI研究会の学会参加補助金で行くことができました。
私は普段、LLMを実際に学習させながら、その学習過程や性能改善について勉強しています。そのため、今回のICMLでも、LLMの学習ダイナミクス、モデルの記憶、構成的学習など、自分の手元で再現実験につなげられそうな研究を中心に見ました。
本記事では、個別の論文を網羅的に紹介するというよりも、主にLLM研究コミュニティのトレンドやコンセンサスの変化を紹介します。
なお、以下はあくまで私が参加し、見聞きした範囲での感想です。ICML全体の研究動向を網羅的にまとめたものではなく、他の参加者とは異なる印象を持っている可能性があります。
参加中のスケジュール
1日目
| 時間帯 | 内容 |
|---|---|
| 午前 | 東京大学の鈴木大慈先生の講演を聴講した |
| 午後 | ポスターセッションを中心に見学した。LLMの学習やモデル改善に関わる研究を重点的に見た |
2日目（7月11日）
| 時間帯 | 内容 |
|---|---|
| 午前 | Compositional Learning Workshopを聴講した |
| 午後 | MemFM Workshopを聴講した |
中心に見た分野と、その理由
主に、LLMの学習ダイナミクスやモデルの記憶、構成的学習に関する発表を見た。特にMemFMのように、モデルが情報をどのように保持し、利用するかを扱う研究に関心を持った。
自分自身、LLMを学習させ、より良いモデルを作ることに興味がある。
作れないなら、理解していない。
私はこの言葉を大切にしている。
そのため、発表を見る際にも、手元での再現実験につなげられる内容を重視した。高性能なモデルを作るために何が必要なのか、研究コミュニティではどのような知見が共有されているのかを学べる発表を優先した。
一方、強化学習やPhysical AI、AIエージェントについては、現時点では自分が十分に実装・検証できる領域ではない。そのため、今回は中心的には追わなかった。
現地で感じた発見と学び
ここでは、細かい論文の紹介よりも、現地で体感したトレンドやコンセンサスの移り変わりを共有したい。
繰り返しになるが、あくまで自分の体感であり、他の方の体感とは異なる可能性があることには注意されたい。
AI deceptionへの関心
会場で特によく耳にした言葉の一つが、AI deceptionである。
これは、LLMがタスクを完了していないにもかかわらず、完了したかのように報告する振る舞いを指す。
例えば、コーディングエージェントがコードベースの全ファイルを確認していないにもかかわらず、「すべて読んで実装した」と述べるような問題である。
モデルの能力そのものだけではなく、その出力や作業過程をどのように信頼し、検証するかが大きなテーマになっていると感じた。
LLMによる数学研究
LLMによる数学研究への関心も非常に高かった。
LLMが数学の未解決問題に挑むことは、フロンティアモデルの能力を測る重要な試金石になっている。
リーズニングモデルの限界に関する議論
一方、昨年大きな話題であったリーズニングモデルの限界については、予想ほど議論を見かけなかった。
検証可能報酬による強化学習、いわゆるRLVRは、pass@1のような少数サンプルでの性能を改善する。一方で、大きな (k) におけるpass@kでは、ベースモデルに及ばない場合がある。
これは、RLVRが新しい推論能力を生み出しているというよりも、ベースモデルがすでに持っている正解経路に確率を寄せているだけではないか、という問題提起につながった（Yue et al., 2025）。
昨年は非常に大きな論点だったため、会場でもこの話をもっと見ると予想していた。しかし、実際には予想したほど多くなかった。
研究コミュニティの関心は、想像以上に速く移り変わっていると感じた。
マルチAIエージェントは本当に有効なのか
また、自分が見た範囲では、マルチAIエージェントシステムのフレームワークを扱う発表は多くなかった。
これは単なる偶然ではないかもしれない。
ICMLの発表ではないが、同一のタスク、ツール、計算予算をそろえて比較した研究では、マルチAIエージェントは多くの設定において、シングルAIエージェントを上回れなかった。むしろ、複数のエージェントを組み合わせることで性能を下げる場合もあったと報告されている（Kim et al., 2026）。
なお、この研究は、一般的な数種類のマルチAIエージェントシステムのフレームワークを検証したものである。
したがって、Sakana Fuguのように、異なるモデルを状況に応じて動的に選び、組み合わせる仕組みまで否定するものではない。
特に、必要以上に強いモデルを常に使うのではなく、タスクに応じて適切なモデルへルーティングし、コストを抑えるという目的は、この研究が直接検証した内容とは異なる。
恥ずかしながら、自分はこの論文の全文を読んだわけではない。そのため、これ以上の詳細な説明は困難であり、正確な実験条件や結論については原著論文を参照してほしい。
今後の勉強につなげたいこと
今後は、LLMの学習ダイナミクスや記憶機構を扱う論文を読み、再現実験を進めたい。
特に、次のような関係に関心を持った。
- モデルサイズと記憶容量
- 学習データ量と性能
- モデルサイズとデータ量のバランス
- 記憶と汎化の関係
- 過学習が発生する条件
まずは、Transformerの記憶容量を理論的に扱うKajitsuka and Sato（2025）を含め、既存研究の再現から着実に取り組みたい。
論文を読むだけで終わらせず、実際に実装し、学習を回す。
初めて国際学会に参加した感想
ICMLのようなトップ会議は、やはりレベルが高かった。
LLM関連の発表は、自分でも実装や学習に触れてきたため、比較的楽しみながら聞くことができた。
一方で、再現実験をしたことのない専門分野の発表については、何が面白いのかを十分につかむことすら難しかった。
論文の概要を読んだり、発表者の説明を聞いたりするだけでは、その研究の難しさや新規性を十分に理解できない。自分で関連するモデルを実装し、実験を行った経験があって初めて、「この工夫はなぜ必要なのか」「この結果の何が意外なのか」が見えてくるのだと思う。
だからこそ、私が運営に関わる東大AI研究会の意義は大きいと感じた。
大学のカリキュラムだけに頼るのではなく、論文を読み、実装し、再現実験を重ねる。そうすることで、少なくとも論文や学会発表を自分なりに理解できるところまで行く。
その機会を体系的に用意することが大事だと感じた。
1に再現実験、2に再現実験である。
当面は、次の一連の活動を自力で行い、その過程と結果を見える形で残せることを目標にするのがよいだろう。
- 先行研究を読む
- 実験条件を理解する
- 自分で実装する
- 再現実験を行う
- 元論文との差分を分析する
- 結果と試行錯誤の過程を公開する
再現実験は、本人にとっては十分な成果であっても、外からは見えにくい。
その過程を、人に見せられる形で残すことには意味がある。
技術力を誇示するためではない。
「知りたい」「作りたい」という知的好奇心から始まった試行錯誤を、他の人と共有するためである。
おわりに
今回ICMLに参加して、最先端の研究成果を知ること以上に、自分が理解できる研究と理解できない研究の差を実感した。
その差を生んでいたのは、知識量だけではなく、自分で実装し、実験した経験だった。
今後は、LLMの学習ダイナミクスや記憶機構に関する研究を中心に、再現実験を積み重ねていきたい。
また、東大AI研究会でも、単に論文を読むだけではなく、実装と検証を通じて理解を深め、その過程を公開できる活動を増やしていきたい。
参考文献
-
Kajitsuka, T., & Sato, I. (2025). On the Optimal Memorization Capacity of Transformers. International Conference on Learning Representations.
https://openreview.net/forum?id=UGVYezlLcZ -
Kim, Y., Gu, K., Park, C., Park, C., Schmidgall, S., Heydari, A. A., Yan, Y., Zhang, Z., Zhuang, Y., Liu, Y., Malhotra, M., Liang, P. P., Park, H. W., Yang, Y., Xu, X., Du, Y., Patel, S., Althoff, T., McDuff, D., & Liu, X. (2026). Capable Language Models Can Outgrow the Benefits of Collaboration. Nature Machine Intelligence, 8, 1157–1172.
https://doi.org/10.1038/s42256-026-01268-y -
Yue, Y., Chen, Z., Lu, R., Zhao, A., Wang, Z., Yue, Y., Song, S., & Huang, G. (2025). Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? Advances in Neural Information Processing Systems, 38.
https://proceedings.neurips.cc/paper_files/paper/2025/hash/537d5aa768c2d534016a4d06f87bc8fb-Abstract-Conference.html