10月1日（水）から始まった、松尾・岩澤研究室「大規模言語モデル講座基礎」 の第1回目に参加しました。
初回は講座全体の概要説明が中心で、講座の趣旨や今後の各回の講義内容についての説明がありました。
印象に残ったポイント
モデルのトレンド
- Reasoning（推論特化）モデルが各社から相次いで登場。
- DeepSeek-R1 系では Aha Moment と呼ばれる現象を観測している。
- 推論のループが強化されることにより、モデルの性能が向上している。
ベンチマークの高度化
- モデル性能の向上に伴い、ベンチマークの整備や推論プロセスの分析も進展している。
- 新たに整備されたベンチマークとして、以下が紹介された：
- SWE Bench：Issueに対してPull Requestを作成する能力を評価するベンチマーク。
- Humanity Last Exam：大学院生レベルの専門性が必要な難問を解くベンチマーク。
⇒ 上記トレンドを踏まえ、大規模言語モデル講座基礎には、今年から「データ収集・加工」と「ベンチマーク評価」に関する講義が増設された。
Scaling Lawの具体的な数値
- GPT-3やGPT-4が どれだけのトークン（データ量）で事前学習されたか、主要IT企業が どのくらいの規模のGPUを導入しているか といった 具体的な数値 を確認できました。
→ 曖昧に語られがちだった規模感を数字で把握でき、研究開発の裏にある現実的な投資の大きさを実感しました。
ロボティクス応用
- RX-X Projectの紹介が印象に残りました。
- 言語モデルが「対話」だけでなく、物理世界と結びつく未来像を垣間見ることができました。
まとめ
第1回目は概要説明では、最新の研究動向や具体的な数値に基づいた話を聞けて、とても刺激的な時間でした。
次回以降の講義では、各回のテーマに沿った知識や技術について学べるのが楽しみです。
また、講義で紹介された主要な論文は、研究のトレンドにキャッチアップするためにも、出来るだけ読んでみたいと思いました。