AIでAIを作る最前線 [2026年]

AIでAIを作る最前線

学習済みのAIに不具合が見つかったとき、一般的には、データや学習方法を見直して追加学習を行います。ところが2026年11月、大規模言語モデル（LLM）にモデル内部の数値を調べさせ、その一部を書き換えることで、同じ文章を繰り返して回答できなくなる問題を改善したという報告が公開されました。モデルを学習させるコードを生成するだけでなく、学習によって得られた「重み」にも、LLMが直接手を加えたのです。Sparks of Weight-Space Programming

この報告は、長く続いてきた「AI開発を自動化する」という研究の、新しい到達点として捉えられます。ネットワークの形を探す研究があり、データを渡すと予測モデルを作ってくれるAutoML製品があり、その先には、コードを書き、実験結果を読み、次の案を試すLLMエージェントがあります。

本記事でお伝えしたいのは、AIの役割が、候補を選ぶことから、実験を進め、学習の仕組みを設計し、モデル内部を修正することへと広がっているという点です。それぞれの段階で何が可能になり、何を確かめる必要があるのかを、研究とプロダクトの両面から見ていきます。

※本記事は、2026年11月4日までに公開された論文、技術報告、公式製品資料に基づいています。紹介する性能値は各資料の報告値であり、筆者がモデルを再学習して追試したものではありません。

1. AI開発で自動化する対象

例えば、過去の販売データから翌月の売上を予測するモデルを作るとします。目的が決まっていても、開発者が選ぶことは数多くあります。どのデータを使うか、欠損した値をどう扱うか、どのモデルを使うか、どれくらい学習するか、どの指標で良し悪しを判断するか、といったことです。

ニューラルネットワークを使うなら、その構造も選びます。何層にするか、各層をどの程度大きくするか、層同士をどうつなぐかによって、表現できる計算や必要なメモリが変わります。この構造を「アーキテクチャ」と呼びます。

構造が決まった後には、重みを学習します。重みは、入力された情報をどのように組み合わせ、次の層へ伝えるかを決める数値です。通常の学習では、予測の誤りを測り、その誤りが小さくなる方向に重みを少しずつ更新します。

この二つを分けると、自動化の違いが分かりやすくなります。ネットワークの形を選ぶことと、その中の数値を決めることは、関連していても別の作業なのです。

開発で決めること	自動化の例	本記事の代表例
どのデータや特徴を使うか	前処理、特徴量作成、学習データの生成	auto-sklearn、Self-Instruct
どのモデルや構造を使うか	モデル選択、ネットワーク構造の探索	Auto-WEKA、NAS
どのように学習させるか	学習率、損失関数、重みの更新方法の設計	DiscoPOP、Reactive Optimizers
次に何を試すか	実験計画、コードの変更、結果の分析	autoresearch、ASI-Arch
モデル内部をどう変えるか	重みの生成、合成、直接編集	HyperNetworks、Weight-Space Programming

「AIでAIを作る」という言葉は、この表の異なる作業をまとめて指しています。どこをAIに任せたのかを確認することで、研究の新しさと実用上の意味を捉えやすくなります。

先に、各技術の担当範囲を並べておきます。これらは併用できます。例えば、LLMエージェントがAutoMLを呼び出し、その結果を分析する構成も考えられます。

技術	主に選ぶ・作るもの	改善を確かめる方法
NAS	ニューラルネットワークの構造	候補を学習し、検証用データで比較
AutoML	前処理、モデル、設定などの組み合わせ	学習したパイプラインの性能・費用を比較
LLMエージェントによる開発	実験コード、仮説、次の試行	コードを実行し、成績やログを確認
Weight-Space Programming	重みの解析結果や編集案	編集したモデルを動かし、目的の達成と副作用を確認

これらは複数の研究系統から発展しており、以下では自動化する対象ごとに整理して見ていきます。

2. NASによるネットワーク構造の探索

構造の提案側と重みの学習側

ネットワーク構造の自動設計を代表する研究が、Neural Architecture Search、略してNASです。

2016年に公開され、国際会議ICLR 2017で発表されたZophとLeの研究では、あるニューラルネットワークが、別のネットワークの構造を提案します。提案されたモデルを実際に学習し、重みの学習には使わない検証用データで性能を測り、その成績を使って、構造を提案する側も改善していきます。強化学習を用いたNASの原論文

学習の仕組みとして使われたのが、強化学習です。ここでの報酬は、提案したモデルの成績に相当します。良いモデルにつながる構造を、次第に提案しやすくするわけです。

この仕組みは、次のような繰り返しとして理解できます。

図1：強化学習型NASにおける、構造の提案と重みの学習。 候補モデルの重みを学習する処理と、次の構造を提案する側の更新は別の処理です。

ネットワークの自動設計には、さらに前からの蓄積もあります。2002年のNEATなど、候補の変異と選択を繰り返す進化計算によって、構造と重みを変えていく研究が先行していました。2010年代のNASは、深層学習の主要な課題で、人間が設計した構造と競争できる規模へ進んだ点に意義があります。NEATの原論文

探索を安くする工夫

NASの難しさは、構造の候補を評価するために、モデルを学習させる必要があることです。候補を増やせば、計算費用も膨らみます。

そこで、NASNetでは、小さなデータセットで繰り返し使う部品を探し、その部品を積み重ねて大きな問題へ応用しました。ENASでは、複数の候補の間で重みを共有し、それぞれを最初から学習する費用を減らしました。NASNet、ENAS

DARTSは、構造を選ぶ問題を、連続的な数値の調整として近似しました。複数の演算を混ぜた状態から、それぞれをどの程度使うかを学習し、最後に構造を選びます。誤りを減らす方向を計算して数値を調整する勾配法を、重みの学習に加えて、構造の探索にも適用しやすくしたのです。DARTS

手法	計算費用を減らす工夫	最終モデルで確かめること
NASNet	小さな問題で探した部品を、大きな問題へ転用	データやモデルの規模を変えても有効か
ENAS	候補間で重みを共有	単独で学習し直した後も性能を保てるか
DARTS	演算の選択を連続値で近似	最後に選んだ構造でも性能を保てるか

ただし、探索を速くするための近似には、確認すべき点もあります。重みを共有した状態で良かった候補が、その構造だけを独立に学習し直しても良いとは限りません。探索中の成績と、最終的に使うモデルの成績を分けて評価する必要があります。NASの研究評価に関する指針

利用環境に適した構造の探索

モデルをスマートフォンで使うなら、精度に加えて応答時間やメモリも重要です。計算量の指標が似ていても、実際の端末で同じ速さになるとは限りません。

MnasNetは、端末上で測った遅延を探索に組み込みました。EfficientNetは、探索した基準モデルに対して、深さ、幅、入力画像の解像度を釣り合いよく拡大する方法を示しました。MnasNet、EfficientNet

こうした研究では、構造の新規性に加え、限られた資源で必要な性能を満たすことも重視しています。この視点は、研究成果を製品にする段階にもつながります。

3. AutoMLによる開発工程の自動化

モデル選択と前処理の自動化

NASと並行して発展してきたのが、機械学習の開発工程を自動化するAutoMLです。

2013年のAuto-WEKAは、学習アルゴリズムの選択と、その設定の調整をまとめて扱いました。2015年のauto-sklearnは、前処理やモデルの探索に、過去のデータセットで得た経験や、複数モデルを組み合わせる方法を取り入れています。いずれも、代表的な強化学習型NASより前の研究です。Auto-WEKA、auto-sklearn

こうした歴史から分かるように、AutoMLはNASだけを起源とする技術ではありません。モデル選択、設定の最適化、特徴量の処理、構造探索など、複数の研究が合流してきた分野です。

例えば売上予測であれば、ニューラルネットワークを複雑にするより、決定木を使うモデルや、複数の予測を組み合わせる方法が良い場合もあります。AutoGluon-Tabularは、そのような複数モデルの組み合わせを重視したAutoMLの代表例です。AutoGluon-Tabularの原論文

この探索の基本形は、検証時の誤りが最も小さくなる設定を選ぶ問題として表せます。ここでは、性能を損失の小ささで比べる場合を考えます。

\lambda^* = \operatorname*{arg\,min}_{\lambda \in \Lambda}
L_{\mathrm{val}}\!\left(\operatorname{Train}(D_{\mathrm{train}};\lambda)\right)

$\lambda$は前処理・モデル・学習率などの設定の組み合わせ、$\Lambda$はその候補全体です。$\operatorname{Train}$は学習用データ$D_{\mathrm{train}}$でモデルを学習する処理、$L_{\mathrm{val}}$は学習後のモデルを検証用データで採点した損失を表します。$\lambda^*$は、その損失を最小にする設定です。式の意味は、「設定を選ぶ → 学習する → 別のデータで採点する」を繰り返すということです。実際には予算が限られるため、候補全体を調べ尽くさず、有望な設定を探します。

データの取り込みから配備までの製品価値

2018年に発表されたGoogle Cloud AutoMLは、機械学習の専門知識が限られる企業にも、独自のデータに合うモデル開発を提供することを目指していました。Google Cloud AutoMLの発表

利用者にとっては、データを取り込み、時間や費用の上限を指定し、候補の性能を比較し、選んだモデルをアプリケーションから使える状態にする、一連の作業を進められることが大切です。

現在の製品やライブラリも、この開発工程をさまざまな範囲で支援しています。

製品・ライブラリ	主に支援すること
Google CloudのAutoML	画像や表形式データを使うモデルの学習と利用 公式資料
Amazon SageMaker Autopilot／Canvas	前処理、モデル選択、調整、候補比較、配備 公式資料
Azure Machine Learning automated ML	分類、回帰、時系列などのモデル開発 公式資料
DataRobot Autopilot	多様なモデルの構築と、段階的な候補の選別 公式資料
H2O Driverless AI	特徴量作成、検証、モデル選択、配備 公式資料
AutoGluon	表形式、時系列、マルチモーダルのモデル開発を支えるOSS 公式資料

AWSのAutopilotでは、モデルを作った処理を確認・変更できるノートブックも生成できます。自動化した部分を専門家が理解し、必要に応じて手を加えられることも、実用上の価値です。Autopilotの設計を説明した論文

研究では精度の向上が注目されやすいものの、製品では、失敗しても作業を続けられること、同じ処理を再実行できること、運用先へ持ち出せることが欠かせません。AutoMLの製品化は、自動探索を開発の道具として使える形に整える過程でもあったのです。

4. LLMによるコード生成と実験の反復

設定値からプログラムへの候補表現の拡張

従来の探索では、人間が用意した候補や設定範囲から、良い組み合わせを探す方法が広く使われてきました。LLMは、そこにコードを生成・修正する能力を持ち込みます。

例えば、「層の数を増やす」という設定変更に加え、層同士のつなぎ方を変えたり、新しい演算をコードとして組み込んだりできます。また、実行エラーや学習ログを読み、次に試す変更を考えられます。

GENIUSは、GPT-4に構造と成績を示しながら、次の候補を提案させました。LLMaticは、ネットワークを定義するコードをLLMで変更し、性能と候補の多様性を考慮する探索と組み合わせています。GENIUS、LLMatic

コードとログを扱えることで、「メモリ不足を解消する」「学習が不安定になる原因を調べる」といった要求も、具体的な変更につなげられるようになります。探索の対象が、構造の選択から、開発中の問題への対処にも広がるのです。

もちろん、コードとして書けることと、学習して性能が上がることは別です。LLMが扱える範囲が広がった分、実行して確かめる工程の重要性も増しています。

実験を繰り返すエージェント

この能力を、モデル開発の一連の作業に組み込む研究も進んでいます。

MLZeroは、画像や文章など、複数の種類を含むマルチモーダルデータの理解から、コード生成、実行、修正までを扱います。実装はAutoGluon Assistantとして公開されており、LLMが既存の機械学習ツールを使う構成の具体例になっています。ただし、公式には研究用コードと位置付けられています。MLZeroの論文、AutoGluon Assistant

2026年のautoresearchは、この考え方を簡潔な形で示しています。エージェントが小型LLMの学習コードを変更し、一回5分の学習を行い、成績が良ければ変更を残し、そうでなければ戻して次の案を試します。人間はprogram.mdに研究方針を記述します。autoresearchの公式リポジトリ

このような実験ループでは、LLMエージェントと学習プログラムが異なる仕事を担当します。

図2：LLMエージェントによる実験の進行。 この構成では、重みの学習は実行先のプログラムが担い、LLMはそのプログラムと実験の進め方を変更します。

一回の時間を固定すると、単に長く学習したから良くなったのか、同じ時間をうまく使えるようになったのかを比べやすくなります。ただし、短い学習で良い変更が、長時間の学習でも良いとは限りません。小さな実験の結果を、大規模な開発へつなぐ確認は引き続き必要です。

長い研究工程と商用サービスへの展開

より大きな実験ループの例が、ASI-Archです。入力内の情報を参照する計算を効率化する「線形アテンション」の構造を開発します。2026年10月の改訂版では、1,773回の実験を行い、GPUの稼働時間を合計して約2万時間を使った探索が報告されています。仮説をコードにし、学習結果を分析し、その経験から次を考える工程を、長く継続した点が特徴です。ASI-Archの改訂版

また、Google DeepMindのAlphaEvolveは、LLMによるコード生成と候補の選択を組み合わせ、アルゴリズムを探索します。学習処理の効率化などへの利用が報告されており、2026年7月にはGoogle Cloudでの一般提供も発表されました。AlphaEvolveの論文、一般提供の発表

学習処理が速くなれば、同じ予算でより多くの実験ができます。このように、AIでAIを作る取り組みは、モデルそのものの設計に加えて、開発に使う計算や作業の効率化にも広がっています。

5. AIによる学習方法と教材の設計

損失関数と重みの更新規則の設計

モデルの性能は、構造だけでは決まりません。学習中に何を良い結果として扱い、どのように重みを変えるかによっても変わります。

その中心にあるのが、損失関数です。損失関数は、モデルの出力が望ましい結果からどれくらい離れているかを、数値にするためのものです。いわば、学習の採点方法に当たります。

DiscoPOPの研究では、LLMが、回答の好ましさを学習させるための損失関数を提案し、実装し、その関数で訓練した結果を見て改善します。別のモデルの学習にも使える、新しい学習方法を作ることが、この研究の狙いです。DiscoPOPの論文

学習方法を自動設計する試みは、LLMを使わない方法でも進められてきました。例えばLionは、重みの更新方法をプログラムとして探索して得られた最適化器です。最適化器とは、重みの更新を担うアルゴリズムのことです。LLMによる方法は、この流れに、既存の知識や実験の説明を利用する新しい提案手段を加えています。Lionの論文

役割を区別するため、基本的な勾配降下法による更新を式にすると、次のようになります。

\theta_{t+1} = \theta_t - \eta_t\nabla_{\theta}L(\theta_t)

$\theta_t$は時点$t$の重み、$L$は損失関数、$\nabla_{\theta}L$は損失が増える方向を示す勾配、$\eta_t$は更新の大きさを決める学習率です。損失を減らす方向へ、学習率で決まる大きさだけ重みを動かします。損失関数の設計は「何を小さくするか」、最適化器の設計は「どう重みを動かすか」 に対応します。Lionなどの更新規則はこの単純な式とは異なりますが、この区別は共通です。

学習途中の状態に応じた介入

実験を終えてから次の設定を考えるだけでなく、一回の学習が進んでいる間に介入する方法も登場しています。

2026年10月のReactive Optimizersという技術報告では、LLMが学習中の状態を観測し、重みの更新規則をコードとして書き換えます。学習が不安定になったときや、改善が止まったときに、その場で対応を考える仕組みです。Reactive Optimizers

例えば、通常は開発者がログを見て「この部分の学習率を変えよう」と判断していた作業を、エージェントが担います。人間が最初に決めた手順を最後まで実行するだけでなく、学習の状況に合わせて、その手順自体を変えるわけです。

ここでは、対象モデルの勾配計算は引き続き使われます。LLMが最適化器の動かし方を考え、実際の重みの更新は数値計算で進めます。LLMの推論と、従来の学習アルゴリズムを組み合わせる役割分担です。

ただし、この報告には一回のみ実行した実験も多く含まれています。異なる初期値での再現性や、大規模な分散学習への対応など、実用化に向けた確認は残っています。同報告の実用性と限界の説明

知識蒸留と合成データによる教材の作成

AIが作る対象は、構造や学習コードに限りません。学習に使う教材も作れます。

知識蒸留では、教師となるモデルの出力を使って、生徒となるモデルを学習します。大きなモデルや複数モデルの予測から、運用しやすいモデルを育てる方法です。知識蒸留の代表論文

Self-Instructでは、LLMに指示と回答例を生成させ、使えない例や似た例を除いたうえで、追加学習に利用します。どんな問題を出し、何を正解として教えるかという作業にも、AIが参加するのです。Self-Instruct

ただし、教材を大量に生成できることと、良い教材を作れることは同じではありません。教師の誤りが混ざっていないか、似た問題に偏っていないか、実際に学ばせたい能力につながるかを確かめる必要があります。自動化する対象が変わっても、良い成果を選ぶ評価は欠かせません。

6. 重みを直接読み書きするAIの登場

重みの生成・編集・合成に関する研究の蓄積

ここまでの多くの方法では、AIが構造や教材、学習方法を考え、その後の訓練で重みが決まっていました。冒頭で紹介したWeight-Space Programmingは、汎用LLMが、その重み自体を読み書きするという報告です。

重みを生成することや、直接変更すること自体は、以前から研究されてきました。2016年に公開されたHyperNetworksは、あるネットワークから別のネットワークの重みを生成します。ROMEは、モデルの特定の事実に関する出力を変えるために、内部の重みを編集します。HyperNetworks、ROME

既存モデルを組み合わせる方法もあります。Sakana AIの進化的モデルマージでは、異なる強みを持つモデルの重みや実行経路を、探索によって組み合わせます。日本語の処理と数学など、複数の能力を生かす試みが報告されています。進化的モデルマージの査読論文

こうした蓄積の上でWeight-Space Programmingが示したのは、重みの読み書き専用に訓練したモデルではなく、汎用LLMの推論を使って、目的に沿う変更を考えられる可能性です。

重みの読解・修正・生成

Takehi氏らの報告には、重みからモデルの性質を読む実験、既存モデルを修正する実験、新しい重みを作る実験が含まれています。Weight-Space Programmingの原報告

読む実験では、Pythonコード、ローマ字の日本語、英語をそれぞれ学習した小型言語モデルを用意しました。LLMには入力層と出力層を渡さず、中間層の重みだけをPythonで解析させます。モデルを入力に対して動かすことは禁止した条件で、学習した文章の種類を識別できたと報告しています。言語モデルを読む実験

修正する実験には、坂を上れずに止まる車の制御モデルがあります。LLMには重み、環境の説明、失敗した動きの記録を与えます。そこで助走を取る動作につながる重みの変更を作り、別の1,024回のテストで成功したとしています。対象は一つの課題ですが、失敗の説明から、数値の変更に踏み込んだ点が興味深い結果です。車の制御モデルを修正する実験

また、簡単なゲームでは、ルールとソースコード、入出力の形式から、動作するネットワークの重みを一回の応答で作る実験も行っています。この場合、ゲームのルールを未知の環境から学ぶのではなく、与えられた仕様をネットワークの計算として実装している、と捉えると理解しやすくなります。ゲームの重みをゼロから作る実験

これらの実験で許される計算は、一律ではありません。道具を使わずにテキストの重みを読む場合もあれば、Pythonで行列を解析する場合もあります。「LLMが重みを理解した」という一文の後ろには、こうした条件の違いがあります。

実験	LLMへの主な入力	求める出力	結果を読む際の要点
小型言語モデルの読解	入出力層を除いた重み、解析用Python	学習した文章の種類の識別	モデルを動かさずに識別できたか
車の制御モデルの修正	重み、環境の説明、失敗記録	坂を上れるようにする重みの変更	別のテストでも修正が有効か
ゲーム用モデルの生成	ルール、ソースコード、入出力の形式	動作するネットワークの重み	既知の仕様から計算を組み立てられるか

上表は、本文で紹介した三つの実験の整理です。識別、既存動作の修正、仕様からの生成では、示している能力が異なります。

Qwenの反復ループに対する局所修正

実用に近い対象として注目したいのが、約8億パラメータの言語モデル、Qwen3.5-0.8Bへの編集です。

この実験では、モデルが考えを文章にしながら回答する際に、同じ内容を繰り返してしまうことが問題になっていました。生成できる長さを使い切っても、答えに到達しないのです。

編集役のLLMにはGPT-6 Astraを使い、重みを扱うPython環境、練習用の問題、回数を制限した評価用の道具を与えました。通常の学習や勾配降下は禁止したうえで、どこを変えると改善するかを調べさせています。Qwenを編集する実験の手順

最終的な編集では、二つの層の一部から、反復ループに関係すると推定した成分を取り除きました。変更した要素は約13万個で、モデル全体の約0.016%に相当します。公開モデルカード

重みから特定の方向の成分を差し引く操作は、射影を使って表せます。一つの重みベクトル$w$と、長さを1にそろえた方向ベクトル$u$で基本形を示すと、次のようになります。

w' = w - u(u^{\mathsf T}w), \qquad u^{\mathsf T}u = 1

$u^{\mathsf T}w$は、重み$w$が方向$u$にどれだけ沿っているかを表す内積です。その方向の成分$u(u^{\mathsf T}w)$を差し引くと、直交する成分を残せます。この式は操作の意味を示す基本形であり、編集対象の列や方向を選ぶ診断工程は含みません。今回の最終編集では、二つの層でそれぞれ64列が選ばれています。最終編集の記録

50回の評価呼び出しを使った探索では、次の結果が報告されています。

評価項目	編集前	編集後	差分（編集後 − 編集前）
MATH-500：数学の問題の正答率 ↑	7.9%	48.1%	+40.2ポイント
GSM8K：算数の文章題の正答率 ↑	13.8%	67.1%	+53.3ポイント
IFEval：指示に従えるかを測る評価 ↑	21.0%	62.3%	+41.3ポイント
MATH-500で生成上限に到達した割合 ↓	93.0%	33.1%	−59.9ポイント

数値は公開された実験結果に基づきます。編集前後は同じ生成設定で比較しています。また、MATH-500では一問につき4回生成した回答全体の正答率を使っており、4回のうち一つでも正解なら成功とする指標ではありません。評価コード

↑は高い方がよい指標、↓は低い方がよい指標です。差分は表の値から計算した百分率の差であり、例えば7.9%から48.1%への変化は「40.2ポイントの上昇」と表します。

正答率と指示追従の改善幅を、同じ0〜100%の軸で並べると次のようになります。

図3：50回の評価呼び出しを使った探索で得られた編集の結果。 上の表と同じ報告値を可視化しています。評価項目ごとに問題や採点方法が異なるため、各項目の編集前後を比較するためのグラフです。実験結果

大きな改善ですが、ここで確認できたことを丁寧に捉える必要があります。この結果は、モデルに数学の知識を新しく教え込んだというより、繰り返しによって回答できなかった状態を直し、もともと学んでいた能力を出力につなげた、と考えられます。数学以外の指示追従でも改善したことは、その見方と整合しています。

成功しなかった実験から見える適用範囲

同じ報告では、反復ループが少ないGemma 3 270Mに対しても、数学の成績を改善しようとしました。しかし、大きな改善は得られていません。Gemmaへの追加実験

また、ユーザーに迎合するように学習したモデルを見分ける実験では、重みだけを見る条件では失敗しています。どの入力部分を参照しているかを示すattentionの情報も観測できるようにすると、識別できたと報告しています。迎合モデルを識別する実験

したがって、現時点で「LLMなら、重みを見てどんな能力でも自由に直せる」と考えるのは早いでしょう。特定の障害を取り除くことと、まだ持っていない技能を身に付けさせることには、隔たりがあります。

計算費用についても、実験の言葉を確認する必要があります。Qwenの実験でいう「50回」は、モデルを単純に50回だけ実行したという意味ではありません。一回の評価呼び出しで最大512問への回答を生成できるなど、まとまった計算を行っています。重みを更新する通常の学習を省いても、診断と評価の計算は必要です。評価呼び出しの定義

それでも、モデルを修正する選択肢が増えたことには意味があります。データを追加して学習し直す方法に加え、内部の計算を調べ、原因の仮説を立て、局所的な修正を試す方法が見えてきたからです。公開ログや編集後モデルを使って、何が起きたかをさらに検証できる点も、この報告の価値です。公開ログ、公開モデル

7. 成果を見極める比較条件・費用・一般化

比較条件の統一と評価データの分離

AIによる開発の報告を読むとき、最初に確認したいのは、何と何を比べたかです。

NASでは、単純なランダム探索でも、早期に見込みの低い候補を打ち切るなどの工夫によって、強い基準になることが示されました。高度な探索器を使ったというだけでは、良い方法であるとは言えません。同じ構造の候補、学習方法、予算で比べる必要があります。NASにおけるランダム探索と再現性の研究

LLMを使う方法でも同様です。生成に失敗した候補を除いて数えていないか、良い結果が出るまで試行を追加していないか、比較相手も十分に調整されているかで、結果の意味が変わります。

さらに、試行中に何度も参照する検証用データと、最後に一度だけ使うテストデータを分けることが重要です。採点結果を繰り返し見ながら改善すれば、その採点対象にだけ適応する可能性があるためです。NASの評価指針

データの用途	使う場面	役割
学習用	候補モデルを学習するとき	重みを更新する材料
検証用	候補を比較し、次の変更を考えるとき	構造・設定・編集案の選択
最終テスト用	探索を終え、採用候補を固定した後	未知の問題に対する性能の確認

これは用途の区別です。具体的な分割方法は課題に合わせます。例えば翌月の売上予測では、未来のデータを学習側へ混ぜないよう、時間の順序も守る必要があります。

開発全体での費用

二つ目は、費用の範囲です。対象モデルを学習するGPU時間だけでなく、案を考えるLLMの利用料、候補の評価、失敗した実行、最後の確認にも費用がかかります。

費用の発生箇所	数えるものの例
提案・診断	LLMの入力・出力、重みやログの解析
候補の学習・編集	GPU・CPUの稼働、候補モデルの保存
探索中の評価	問題ごとの生成、採点、失敗した試行
採用後の確認	最終テスト、再実行、副作用の検証

一方で、開発者の作業時間が減ったり、一度発見した学習方法を多数のモデルに再利用できたりすれば、大きな価値になる可能性があります。一回の実験が安いかだけでなく、開発全体で何を節約できるかを見る必要があります。

評価研究も、この方向へ進んでいます。MLE-benchは75件のKaggle課題を使い、エージェントが機械学習の開発作業を進められるかを測ります。2026年10月に公開されたFrontierMLでは、21の課題で、訓練やデータに使える資金を変え、追加の予算を性能に変えられるかも評価しています。MLE-bench、FrontierML

こうした仕組みは、単発で良いコードを書く能力から、限られた資源で開発を進める能力へ、評価の対象が広がっていることを示しています。

改善の一般化と副作用の検証

三つ目は、見つけた改善がどこまで広がるかです。

小型モデルの短い学習で良かった構造が、大型モデルの長い学習でも良いとは限りません。あるデータで有効だった損失関数が、別の分野でも有効かは、試す必要があります。重みを局所的に修正する場合も、狙った成績が上がったときに、別の言語や長い入力への対応を損なっていないかを確認したいところです。

この確認まで含めて、自動化できるかが次の課題になります。AIが良い案を出せるだけでなく、その案を独立に再実行し、異なる条件で確かめられる仕組みが必要なのです。

8. AI開発における目的と評価の設計

NAS、AutoML、LLMによる実験、重みの直接編集を通して見ると、AI開発の自動化には共通する流れがあります。人間が選んでいた事柄を候補として表し、実際に試し、結果から次を考える工程を、少しずつ機械に任せてきました。

その一方で、何を改善したいのか、どんなデータを使ってよいのか、何を成功とみなすのかは、開発の中心に残ります。売上予測なら、過去の数値に合うことだけでなく、将来の需要変化に対応できるかが問題になります。言語モデルなら、ベンチマークの正答率に加え、利用者の指示を守れるか、必要な時間や費用で動くかも重要です。

実際の開発では、複数の道具を組み合わせる構成も考えられます。LLMが問題を整理してコードを作り、Optunaのような専用ツールが数値の設定を探し、通常の最適化器が重みを学習する、といった役割分担です。それぞれが得意な作業を担当します。Optunaの公式資料

重みを直接編集する方法が使えるようになれば、そこに診断と局所修正という選択肢も加わります。ただし、良い編集案を採用するには、変更の前後を比べ、副作用を調べ、必要なら元に戻せるようにすることが欠かせません。

これらを組み合わせた開発工程の一例を示します。通常の学習を行う経路と、学習済みモデルを直接編集する経路は、どちらも評価と候補の選択につながります。

図4：本記事の説明に基づく、各技術を組み合わせた役割分担の例。 最終テストの結果を見て再び変更を加えるなら、それまで使っていないデータでの確認が別途必要になります。

ここまでの進歩から、AIが自分自身を無制限に改良し続ける仕組みが完成したとまでは言えません。自動化された個々の改善を、次の世代の開発能力へ戻し、未知の課題でも改善を続けられるかは、さらに確かめる必要があります。

現在の成果は、AI開発で機械に任せられる判断と作業が増えていることを示しています。そして、任せる範囲が広がるほど、目的を具体化し、成果を測る仕組みを作る仕事が重要になります。

AIの提案能力と、成果を確かめる実験を一体として設計することが大切です。 その仕組みを整えることで、AIでAIを作る技術は、より多くの開発現場で使える道具になっていくと考えます。

参考資料

本文中のリンクから、各研究の論文や公式資料を参照できます。特に、次の資料を読むと、本記事で紹介した変化を詳しくたどれます。

• Neural Architecture Search with Reinforcement Learning：ネットワークの構造を提案するAIの代表的な研究です。
• AutoGluon-Tabular：表形式データ向けAutoMLの設計を説明しています。
• ASI-Archの改訂版：LLMによる構造開発と、長い実験ループを扱っています。
• Reactive Optimizers：学習途中の更新方法にLLMが介入する報告です。
• Sparks of Weight-Space Programmingと公開実験ログ：重みの読解・生成・修正の条件と結果を確認できます。