AIにロケットを着陸させてみたら、「手で作ったルール」に勝てなかった —— そして「勝った」と喜んだ自分を、自分でボツにした話

一般向け（プログラミングの細部は書きません。技術版は別記事）。数値はすべてローカル実測。

この話の要点

コンピュータの中でロケットを何度も着陸させ、「人間が手で設計した操縦ルール」と「AI が自分で学んだ操縦」のどちらが上手いかを、正直に競わせました。

結果は——引き分け。しかも面白いのは、途中で私が「AI が勝った！」と早合点し、そのあと自分の実験で自分をボツにしたところです。研究の"正直さ"って、こういうことか、という話をします。

なぜロケットの着陸なのか

打ち上げロケットの一段目（booster）は、今や逆噴射して地上に真っすぐ立って戻ってきます。あれは「排気の上に鉛筆を立てる」ような芸当で、放っておけば必ず倒れる。だから着陸させること自体が、難しい操縦の問題です。これをパソコンの中の物理シミュレーションで、何十回も安全にやり直せる——AI と制御の腕試しにちょうどいい題材なんです。

二人の選手

• 選手A（手作り）: 制御工学の定番ルール「速すぎたら推力を強め、傾いたらエンジンを少し傾けて立て直す」を、人間が丁寧に調整したもの。地味だが強い。
• 選手B（AI学習）: 最初は選手A と同じ動きから始め、「進化」で少しずつ操縦を改良していく。何百回も試して、良かった操縦だけを残す。

公平を期すため、二人にまったく同じ着陸シナリオ（初速・傾き・横風をランダムに変えたもの）を解かせて採点します。

途中まで: AI が勝つように"見える"

穏やかな条件だと、AI は手作りをほんの少し上回りました（+1.5%）。次に横風を吹かせると話が面白くなる。手作りルールは「一定の横風」を完全には消せず、少し流されてしまう。ここに AI の付け入る隙がある——はず。

実際、AI は練習では大きく上回りました（+20%超）。「学習の勝ちだ！」と言いたくなる。

でも、それは"練習でだけ"だった

ここが研究の落とし穴です。練習で使ったシナリオだけに強くなり、初見のシナリオで崩れる——これを「過学習」と言います。人間でいえば「過去問の答えを丸暗記したが、本番の新しい問題は解けない」状態。

初見のシナリオ（本番テスト）で測り直すと、AI の +20% はきれいに消えました。しかも AI は点数を稼ぐために「軟着陸」を犠牲にしていた（＝ズルに近い）。手作りの勝ち。

【本番】評価のやり方を、本気で厳しくする

「じゃあ評価を厳密にすれば AI は勝てるのか？」——これを、結果を見る前にルールを凍結して（後出しジャンケンを封じて）検証しました。しかも実験の設計自体を、複数の AI にわざと否定させて穴を潰してから走らせています（この「AI 同士でチェックさせる」やり方が、今回の裏テーマです）。

厳しくした点:

• 毎回新しいシナリオで採点（丸暗記を封じる）
• 「軟着陸そのもの」をちゃんと点数にする（ズルを封じる）
• 審判役の手作りルールも手を抜かず再調整（弱い審判で勝っても意味がない）
• そして同じ土俵で何度も測り、"まぐれ"か"実力"かを統計で見分ける

結果: 引き分け（AI は勝てなかった）

厳しく測ると、AI は手作りを超えられませんでした。10 回やって 1 回も明確に勝てず、成績は横並び（引き分け）。評価を厳しくすると AI は**「負け」から「引き分け」までは来る**——けれど、きちんと調整された手作りルールは超えない。

【いちばん正直な部分】"勝った"と思った自分を、自分でボツにする

実は私は途中で、こう結論を書きかけました——「昔 AI が勝って見えたのは、審判（手作りルール）の調整が甘かったからだ」。きれいな話です。

でも念のため確かめたら、それも間違いでした。本番テストでは、甘い調整も丁寧な調整も、審判の強さはほぼ同じだったのです。

本当の理由はもっと単純でした: **昔の"勝ち"は、たった数回・信頼区間なしで測った"まぐれ"**だった。少ない回数だと、成績は運でこんなに振れる。私は自分のきれいな仮説を、自分の追加実験でボツにしたわけです。

持ち帰ってほしいこと

• 「AI が人間の工夫に勝った」と聞いたら、まず疑うのは"審判が弱くないか"と"測り方が雑でないか"。 派手な手法や大きなモデルではありません。
• 正直な「引き分け」「負け」は、立派な成果です。「勝った」だけを載せる誘惑に負けないことが、次に進む正しい足場になります。
• そして——自分の結論も疑う。他人にだけ厳しくして自分に甘い、では研究になりません。

続き（いま実験中）: 「気まぐれな突風」なら AI に勝ち目はあるか

さっきの実験の風は「ずっと同じ方向」でした。これは手作りルールの得意分野——「同じずれをためて消す」という記憶（積分）が効くからです。

では向きも強さもコロコロ変わる突風ならどうでしょう。記憶をためても、ためた頃には風が変わっている。"記憶"より"反応の速さ"がものを言う——ここは、反応が命の AI に勝ち目がありそうな土俵です。

実際に気まぐれな突風を足して調べたところ、**手作りルールも突風下では「記憶（積分）を切った方が強い」**と分かりました（記憶が邪魔になる、という予想どおり）。では、その"反応重視"の手作りを、学習した AI は超えられるのか？

結果は——また引き分けでした。 反応が命の土俵でさえ、AI は手作りを明確には超えられなかったのです。10 回試して 1 回も明確な勝ちは出ず、成績は横並び。しかも AI は、点数を少し稼ぐために軟着陸をまた少し犠牲にしていました（前と同じクセ）。

正直に言うと、私の予想（突風なら反応の速い AI に勝ち目がある）は外れました。「突風では記憶が邪魔」という読み自体は当たったのですが、だからといって AI が勝つわけではなかった——手作りの制御は、ずっと同じ風でも、気まぐれな突風でも、しぶとく強い。これが正直な答えです。

一度だけ「AI が勝ったかも」に見えた測定もありました。でも他の測定とかみ合わず、"勝ち"の条件を満たしていません。前回の教訓（まぐれを勝ちと勘違いしない）どおり、これ 1 つで「勝った」とは書きません。

次回に続く

その先は、ロケットにカメラの映像だけを見せて着陸を学ばせたら？ あるいは動くパッドへ——反応の速さがもっと効く状況では、AI に勝ち目はあるのか。確かめていきます。

技術版（数値・コード・統計の詳細）は別記事。公開は人間判断のドラフトです。