ChatGPT o3のDeep Researchと個人的趣味でTop10と追加を決めました！

総合Top10

1. AlphaEvolve （DeepMind, 2025年6月）

自己進化するAI！

AlphaEvolveは、LLMと進化的アルゴリズムの自律的フィードバックループにより、Strassen以来56年ぶりに4×4複素行列積を48回のスカラー乗算で実行する新アルゴリズムを自動発見した点が凄い
関連記事

自己進化するAI！

AI作成論文が査読を単独で通過！

モデル設計の常識転換！

Transformerにおいて、各層の特徴を平均0・分散1などに整える“正規化レイヤー”が必要というのが常識だったが、それがなくとも高性能なモデルが作成できることを実証
単に1研究としてだけではなく、モデル常識の常識転換というインパクトも強い
関連記事

強化学習性能で解き放つ、新スケーリング！

8.6億円の衝撃！

純粋強化学習で獲得した高度な推論パターンを合成データによる教師ありファインチューニングのみで1.5B～70Bの小型モデルに蒸留し、OpenAI-o1相当の性能を低コストで実現した点が凄い
関連記事

推論型LLMの設計図

LLMも迷子になる！

シミュレーション実験によりトップレベルのLLMがマルチターン対話では単一指示時と比べ平均39％も性能が低下し、一度誤った応答をすると回復できず“迷子”になる問題を初めて実証
関連記事

AIエージェント研究コミュニティ

人間の研究者がArXivで論文を共有するようにAIエージェントが専用のプリプリントサーバ上で成果を共有・参照し合うことで互いの知見を継続的に活用し、性能を向上した

記号着地問題への一つのアプローチ

適用可能なルールがない等のインパスをインパンス駆動型混合イニシアチブ対話アルゴリズムで検出し、状況に応じた質問を自動生成・発話し、得た応答をチャンク学習で新規ルールとして自動追加することで、少数例かつ効率的に記号着地を実現している

トークン長を伸ばす！

Lightning AttentionでAttention計算を線形化し、MoEで条件付き計算を行うことで、4500億規模モデルが学習時100万／推論時400万トークンの超長文コンテキストを低コストかつGPT-4o相当の性能で処理できる点が革新的
関連記事

NVIDIAの本気！

Physical AI向けに「汎用世界モデル（world foundation model）」を定義し、動画キュレーション／トークナイザ／事前学習モデル／後続微調整ツールを一式揃えた初のオープンソースプラットフォームを提供
関連記事

脳科学の第一人者Fristonがついに実装に！

Karl Fristonの能動的推論という神経科学理論をAIに適用したオブジェクト中心生成モデルをオンラインで拡張・洗練し、勾配計算不要でわずか10,000ステップの対話だけで多様なゲームを高いデータ効率で習得する点が画期的
- そう。AIに脳科学を適用はずっと言われているのだけれど第一人者のFristonがいよいよ本気出した？エモーショナル！

Chain-of-Thoughtによる詳細な思考トレースを生成する大規模言語モデルであっても、問題の複雑性が一定以上になると著しく性能が低下し、真の「思考」を実現していないというCoTの限界を初めて定量的に示したもの
関連記事

先ほどのThe Illusion of Thinking論文がAppleのものなのですが、わずか数日後に、検証設定の誤りじゃね、とAnthropicさんがコメントを発表するというエモーショナル！
関連記事

ChatGPT o3 でDeep Researchでまずは調べました。この資料です。