ChatGPT o3のDeep Researchと個人的趣味でTop10と追加を決めました！
総合Top10
1. AlphaEvolve （DeepMind, 2025年6月）
自己進化するAI！
- AlphaEvolveは、LLMと進化的アルゴリズムの自律的フィードバックループにより、Strassen以来56年ぶりに4×4複素行列積を48回のスカラー乗算で実行する新アルゴリズムを自動発見した点が凄い
- 関連記事
2. Absolute Zero （Zhaoら, 2025年5月）
自己進化するAI！
-
外部データなしで自己生成タスクによる強化学習のみで学習し、数万件の人手作成例依存モデルを上回るコーディング・数学推論性能を実現
3. AI Scientist-v2 （Yamadaら, 2025年4月）
AI作成論文が査読を単独で通過！
-
AIが科学を行う時代の幕開け: 査読付きワークショップにAI単独で論文を通した事実はAI史に残る出来事で、学術界でも議論沸騰
-
関連記事
4. Transformers without Normalization （Zhuら, 2025年3月）
モデル設計の常識転換！
- Transformerにおいて、各層の特徴を平均0・分散1などに整える“正規化レイヤー”が必要というのが常識だったが、それがなくとも高性能なモデルが作成できることを実証
- 単に1研究としてだけではなく、モデル常識の常識転換というインパクトも強い
- 関連記事
5. Kimi k1.5 （Kimi Team, 2025年1月）
強化学習性能で解き放つ、新スケーリング！
-
シンプルな強化学習フレームワークでマルチモーダルLLMを訓練し、OpenAIのo1に匹敵する推論性能を達成
-
関連記事
6. DeepSeek-R1 （DeepSeek, 2025年1月）
8.6億円の衝撃！
- 純粋強化学習で獲得した高度な推論パターンを合成データによる教師ありファインチューニングのみで1.5B～70Bの小型モデルに蒸留し、OpenAI-o1相当の性能を低コストで実現した点が凄い
- 関連記事
7. Reasoning Language Models: A Blueprint （Bestaら, 2025年1月）
推論型LLMの設計図
- 推論型LLMのサーベイ
- 関連記事
8. LLMs Get Lost In Multi-Turn Conversation （Labanら, 2025年5月）
LLMも迷子になる！
-
シミュレーション実験によりトップレベルのLLMがマルチターン対話では単一指示時と比べ平均39％も性能が低下し、一度誤った応答をすると回復できず“迷子”になる問題を初めて実証
-
関連記事
9. AgentRxiv （Abdul-Mageedら, 2025年3月）
AIエージェント研究コミュニティ
- 人間の研究者がArXivで論文を共有するようにAIエージェントが専用のプリプリントサーバ上で成果を共有・参照し合うことで互いの知見を継続的に活用し、性能を向上した
10. Acquiring Grounded Representations of Words （Mohanら, 2025年1月）
記号着地問題への一つのアプローチ
- 適用可能なルールがない等のインパスをインパンス駆動型混合イニシアチブ対話アルゴリズムで検出し、状況に応じた質問を自動生成・発話し、得た応答をチャンク学習で新規ルールとして自動追加することで、少数例かつ効率的に記号着地を実現している
その他注目研究
MiniMax-01: Scaling Foundation Models with Lightning Attention (MiniMaxチーム, 2025年1月14日)
トークン長を伸ばす！
- Lightning AttentionでAttention計算を線形化し、MoEで条件付き計算を行うことで、4500億規模モデルが学習時100万／推論時400万トークンの超長文コンテキストを低コストかつGPT-4o相当の性能で処理できる点が革新的
- 関連記事
Cosmos: World Foundation Model Platform for Physical AI (NVIDIAチーム, 2025年1月7日)
NVIDIAの本気！
- Physical AI向けに「汎用世界モデル（world foundation model）」を定義し、動画キュレーション／トークナイザ／事前学習モデル／後続微調整ツールを一式揃えた初のオープンソースプラットフォームを提供
- 関連記事
ランク外ですが個人的関心
AXIOM: Learning to Play Games in Minutes with Expanding Object-Centric Models
脳科学の第一人者Fristonがついに実装に！
- Karl Fristonの能動的推論という神経科学理論をAIに適用したオブジェクト中心生成モデルをオンラインで拡張・洗練し、勾配計算不要でわずか10,000ステップの対話だけで多様なゲームを高いデータ効率で習得する点が画期的
- そう。AIに脳科学を適用はずっと言われているのだけれど第一人者のFristonがいよいよ本気出した？エモーショナル！
The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity
- Chain-of-Thoughtによる詳細な思考トレースを生成する大規模言語モデルであっても、問題の複雑性が一定以上になると著しく性能が低下し、真の「思考」を実現していないというCoTの限界を初めて定量的に示したもの
- 関連記事
The Illusion of the Illusion of Thinking A Comment on Shojaee et al. (2025)
-
先ほどのThe Illusion of Thinking論文がAppleのものなのですが、わずか数日後に、検証設定の誤りじゃね、とAnthropicさんがコメントを発表するというエモーショナル！
-
関連記事
ChatGPT o3 でDeep Researchでまずは調べました。この資料です。