はじめに
SakanaAIは自然界から着想を得たアプローチでAIの進化を追求している、日本発のAI研究機関です。
特に大規模言語モデル（LLM）の能力拡張と自動設計に力を入れており、過去1年ほど（2024年～2025年初頭）の間に次々と画期的な研究成果を公表してきました。
個人的に、AIが人間と同じ振る舞いをするためには、
- AI の 学習フェーズ と 推論フェーズ が同時にできる
- 人間のような柔軟な 記憶 と 忘却 の実装
が必要だと考えています。
SakanaAI の研究を見ていると、時間の問題でそれらが達成されるのではないか、と期待しています。
本記事では、以下の表にまとめた主な研究プロジェクトを中心に、技術的詳細・応用事例・市場への影響・将来の展望を解説します。
また、これらの研究から、今後の AI の進歩の方向性、AGI（汎用人工知能） までの道筋を考えてみます。
| 研究プロジェクト（発表時期） | 技術概要・革新点 | 応用例・影響 |
|---|---|---|
|
進化的モデル統合 Evolutionary Model Merge （2024年3月・2025年1月更新） |
進化アルゴリズムで複数のLLMモデルを合成し、新たな基盤モデルを自動生成。 異種領域のモデル結合による新能力の創出。 |
オープンソースで実装が進み、モデル開発の民主化・効率化を実現。 |
|
LLMによる目的関数の発見 DiscoPOP （2024年6月） |
LLM自身が新しい学習アルゴリズム（損失関数）を提案・検証。 自己参照型プロセスで高性能な最適化手法を自動発見。 |
強力な新損失関数を発見（既存手法を上回る性能）。 AI研究の自動化を推進。 |
|
AI Scientist （AI研究の自動化） （2024年8月） |
研究プロセス全体を自動化する初の総合システム。 論文執筆や査読までAIエージェントが担う。 |
1論文あたり約15ドルの低コストで新規性ある論文を生成。 研究開発民主化への道を開く。 |
|
CycleQD （LLMの群知能進化） （2024年12月） |
品質と多様性（QD）に基づく進化で、小型LLMエージェント群を育成。 モデル合成を交叉や突然変異に見立て多様な能力を獲得。 |
各8Bパラメータの小モデル群が高難度タスクで高性能。 巨大モデルに頼らない持続可能な進化策として注目。 |
|
NAMM (Neural Attention Memory Model) （トランスフォーマーの進化的記憶） （2024年12月） |
Transformerに 選択的「記憶」と「忘却」 を付与。 進化的最適化で非微分可能な記憶操作を学習。 |
長文コンテキスト処理の性能と効率を大幅向上。 学習済みメモリは他のモデルや領域にも再学習なしで転用可。 |
|
Transformer² （自己適応型LLM） （2025年1月） |
推論時にモデル内部の重みを動的調整するフレームワーク。 SVDとRLを活用し、タスク毎に最適な重みを即時選択。 |
追加学習不要で多領域に柔軟対応。 企業が持つ固有データを活かし、パーソナライズAIを実現へ。 |
まずは、各研究について簡単に解説していきます。
1. 進化的モデル統合: Evolutionary Model Merge
ポイント:
- 進化アルゴリズムで複数の既存モデル（LLMや視覚モデルなど）を合成
- 全く追加学習を行わなくても新たな有用モデルが得られる
- 異分野モデルの結合で人間の直感を超えた高性能モデルが誕生
技術概要
Hugging Face上に存在する膨大なモデルを対象に、遺伝的アルゴリズムを用いて最適な「マージレシピ」を探索します。
交叉（複数モデルの線形結合）や突然変異（結合手法のパラメータ変更）を繰り返し、下流タスク性能を適合度として評価。
適合度の高い結合モデルを選抜・改良していくことで、人手を介さず自動的に高性能かつ多分野対応のモデルを生成します。
実際にこの手法で作られた7Bパラメータの日本語数学LLMは、当時の日本語70Bモデルを凌駕する性能を示しました。
また、異なるモーダル（画像と言語など）のモデル結合からも意外な高性能モデルが得られたことが報告されています。
応用と影響
- オープンソース化が進んでおり、MergeKitやOptuna Hubなどのフレームワークで実装可能。
- 多数の専門特化モデル（ニッチ領域向け高性能モデル）が、コミュニティ主導で生み出されるように。
- Nature Machine IntelligenceやICLRなど主要学会で注目され、進化的手法によるモデル開発が盛り上がる契機に。
2. LLMによる新しい目的関数の発見: DiscoPOP
ポイント:
- LLM自身が学習アルゴリズムを発明し、性能を検証する「自己参照型ループ」
- 人間の経験や直感に頼らない自動探索で、新損失関数（DiscoPOP）を創出
- 既存の強化学習ベース手法を上回る高い最適化性能を確認
技術概要
大規模言語モデル(LLM)に「現在試した目的関数の結果」を入力し、より良い目的関数のアイデアを生成させます。
LLMはコードを書き換え、提案した損失関数を実際にモデルへ適用・評価。結果の良し悪しに応じて次のアイデアをさらに改良…という反復プロセスにより、自律的に探索を進めます。
特に「対話型AIの嗜好最適化（Preference Optimization）」分野で従来のDPOを超える性能を実現し、人間には思いつかない意外な特徴をもつ最適化手法を発見しました。
応用と影響
- AI研究の自動化をさらに後押し。研究者の試行錯誤をAIが肩代わりすることで開発効率が向上。
- 発見された損失関数やコードは公開されており、他の強化学習・微調整分野への応用も期待。
- 今後、AIが自ら学習法を改良し続ける「自己改良ループ」が実現する可能性を示唆。
3. AI研究の自動化: The AI Scientist
ポイント:
- 研究開発のライフサイクル（アイデア創出 → 実験・検証 → 結果分析 → 論文執筆 → 査読）を全自動化
- 複数エージェントが役割分担して人間研究者のプロセスを模倣
- 1論文あたり約15ドルの計算コストで学術的に新規性ある研究を生み出す
仕組み
- 研究アイデア生成: あるLLMが未解決問題の抽出や新規手法の着想を提案
- コード記述＆実験: 別のエージェントが実験コードを自動生成して実行
- 結果分析＆論文執筆: 実験結果を解析し、自動で学術論文を作成
- 査読: さらに別のAIエージェントがピアレビューを行い、問題点があれば修正をフィードバック
このように、AI同士の協調によって研究が完結する仕組みです。
拡散モデルやTransformerの新手法、学習現象「grokking」の解明など、多分野の論文が実演的に生成されました。
応用と影響
- 機械学習分野以外（製薬・材料・金融など）の研究にも適用可能。
- 研究の民主化：大規模リソースや専門知識がなくても先端研究を自動生成できる潜在力。
- 研究倫理や品質の問題は残るものの、「AIが自ら論文を書く」 という未来が現実化し始めている。
4. LLMの群集的進化: CycleQD
ポイント:
- 単一の巨大モデルではなく、複数の小モデルが協調して多様なタスクを網羅
- 品質(Quality)と多様性(Diversity) を同時に重視する進化計算手法をLLMに応用
- 8Bパラメータ程度の小型モデル群が大規模モデルに匹敵する性能を発揮
技術概要
- まずはコード生成・数学・データベース操作など専門スキルを持つLLMを複数用意
- モデルマージ（線形結合）やSVD変異（重み行列を部分的に改変）による交配を実施
- 世代交代を繰り返し、各モデルがそれぞれの「ニッチ（得意分野）」で性能を高めるよう選抜
- 評価指標（コード能力・数学能力など）をサイクル的に切り替え、群全体のバランス良い進化を誘導
最終的に、複数モデルが専門を活かし合う集団知能を形成します。
巨大モデルを1本作るより、計算資源を節約しながら多様なタスクに対応できる点が強みです。
応用と影響
- 専門特化AIの分散協調：企業内の異なる業務領域（経理・法務・開発など）に特化したモデル群を進化させることで、業務全般をカバーできる。
- 学術的にもICLR 2025での発表が決定するなど、高く評価されている。
- 生態系的アプローチとして、今後の持続可能なAIモデル開発の新潮流になる可能性。
5. 進化する記憶システム: NAMM (Neural Attention Memory Model)
ポイント:
- Transformerに 「選択的な記憶と忘却」 を付与する新手法
- Attention 機構を使って重要情報だけを長期記憶し、不要情報は破棄
- 進化的最適化により、非微分可能な忘却操作を学習
技術概要
- Transformerの Attention重み から特徴量を抽出
- それを入力に、トークンを「記憶すべきか」「忘却すべきか」二値判定するNAMM（小型ネットワーク）を動作
- 「忘れる」という操作は微分不可能なので、遺伝的アルゴリズムでNAMMのパラメータを最適化
- この結果、冗長な情報を捨てて重要情報に集中するため、長文や長期タスクでも高精度かつ効率的なモデルを実現
さらに学習済みのNAMMは、Attention行列という共通フォーマットを利用するため、他のモデルや言語以外の分野（画像・強化学習など）にも再学習なしで移植可能と報告されています。
応用と影響
- チャットボット等が長い会話履歴を扱う際、必要な情報だけ保持して推論コストを削減
- 文書要約やストリームデータ解析など、大規模コンテキスト処理におけるメモリ負荷を軽減
- ドキュメント要約・長文ベンチマーク（ChouBun） のような評価タスクでも高い性能を発揮
- 「忘れることで賢くなるAI」という新しいパラダイムを提案
6. 推論時の自己適応: Transformer²
ポイント:
- 追加学習なしで入力タスクに合わせリアルタイムにモデル内部を調整
- SVDで事前に抽出した複数の潜在スキル成分を、強化学習したベクトル（zベクトル）で組み合わせ
- LoRAなど従来の微調整より高性能・低パラメータで多様なタスクに対応
技術概要
- モデルの重み行列をSVD分解し、「数学能力」「言語理解」「コーディング能力」等に対応するスキル成分を抽出
- タスク毎に「どの成分をどれだけ使うか」を表すzベクトルを学習（強化学習を活用）
- 推論時に入力を見て最適なzベクトルを選択 or 合成し、オンザフライで内部重みを調整
- これにより、新しい指示やドメインに対しても即座に最適化して回答
1つのLLMが多領域に対応できるため、企業の個別タスクやパーソナライズされた問い合わせに対しても、微調整なしで瞬時に切り替え可能。
さらに学習済みzベクトルを他の類似モデルへ移植する実験でも一定の効果が確認されており、将来はモデル間で知識を融通できるかもしれません。
応用と影響
- 企業内の機密データや特化要件に対応する際、クラウドへ再学習を依頼せずローカルで調整可能
- 1つのモデルで多様なタスクを高速処理できるため、運用コスト削減・システム統合にも寄与
- 「AIが状況に応じて自ら変身する」可能性を広げ、高度な汎用AIへのステップとなる
研究群を結ぶストーリーと市場への影響
研究の流れ
SakanaAIの研究は「AIがAIを進化させる」ことを主軸に、以下のような流れで段階的に高度化してきました。
-
モデルの融合と進化（2024前半）
- 複数の既存モデルを合成し、予想外の高性能モデルを生み出す（Evolutionary Model Merge）
- LLM自身に新しい訓練アルゴリズムを考案させる（DiscoPOP）
-
研究プロセスへの拡張（2024後半）
- AI Scientistで研究開発そのものを自動化し、多エージェントが協働して新規性ある論文を連続生成
-
効率と専門性の追求（2024年末）
- CycleQDで小型モデル群の進化的協調を提案し、巨大モデル依存からの脱却を図る
- NAMMで選択的記憶を導入し、長文コンテキストに強いTransformerを実現
-
動的適応と知能の高度化（2025年初頭）
- Transformer²により推論時に自己変化するモデルを開発。環境に合わせて柔軟に行動できる「生物的知能」に一歩近づく
市場への波及
- モデル開発の民主化: Evolutionary Model MergeやCycleQDの成果により、ビッグテック以外の組織でも多様で高性能なAIを作りやすくなった
- R&D自動化: AI ScientistやDiscoPOPは製薬・金融などの研究開発型産業に大きな可能性をもたらし、競争力を左右する要因に
- コスト削減と高度化: NAMMやTransformer²が示す効率的・適応的モデルは、クラウドリソースや学習時間を減らしながら、ユーザ固有のデータ要求にも即対応できる
- 汎用人工知能(AGI)への道: 自律的に自分を改良し続けるAIは、自己進化型AIとしてAGI実現の鍵になる
AIの自己進化サイクル:
これらの研究の流れから、AIの未来を妄想していきます。
今後の展望: 自己進化するAIへ
すべての技術（Evolutionary Model Merge / DiscoPOP / AI Scientist / CycleQD / NAMM / Transformer²）が1つのメタモデルに統合されると仮定すると、
- モデルが自ら研究し、自ら学習法を発明し、モデル内部を常に組み替えながら進化する
- あたかも生命体のように情報を取り込み、不要な部分は忘却し、新しい機能を融合する
- これまで以上に「ブラックボックス化」「制御不能」という問題を抱えながらも、圧倒的な汎用性と自己改良スピードを得る
という未来像が浮かび上がります。
それはまさに “自己増殖するAIのエコシステム” といえる存在です。
もはや単なる「プログラム」ではなく、社会的・経済的に大きなインパクトを及ぼす複合体になるでしょう。
こうしたモデルが本格的に普及すると、
- 研究やイノベーションのボトルネック（人間の脳力・人的リソース）が大幅に解消され、
- 市場競争の構図が一変するとともに、
- 安全・倫理の担保が技術的にますます困難になる、
といった大規模な転換点が訪れる可能性があります。
AGI（汎用人工知能）の手前ともいえる状態まで到達したとき、社会がどう受け止めるかはまだ未知数です。
しかし少なくとも、このような“単一モデル”が登場する未来は、すでに技術的には理論上あり得るシナリオとして描ける段階に来ているのかもしれません。
まとめ
いかがでしたか？
SakanaAIの研究は、私たちが思い描くAIの常識を大きく覆すものばかりだったと思います。
特に印象的なのは、AIが自分で自分を改良できるという考え方です。
まるで生命のように進化し、環境に適応していく。
そんな未来のAIの姿が、徐々に現実味を帯びてきているんです。
これからのAI開発は、DeepSeekが示したように巨大な計算資源や専門知識がなくても、誰もが参加できる民主的なものになっていくかもしれません。
そんな希望に満ちた未来を、SakanaAIは着実に切り拓いているのです。
みなさんも、この革新的な研究の進展を、一緒に見守っていきましょう。