「AI研究70年から読み取れる最大の教訓は、計算を活用する汎用的な方法論が究極的に最も効果的であり、その差は圧倒的だということだ。」
— Rich Sutton, 2019

はじめに

強化学習の父と呼ばれる Rich Sutton 教授が2019年に発表した短いエッセイ The Bitter Lesson は、発表から7年が経った今も、AI研究・開発の現場で繰り返し引用される古典となっています。

本記事では、このエッセイの主張を整理した上で、2026年現在の視点からこの教訓が依然として有効か を改めて考えてみたいと思います。特にLLMやVision Transformerの時代が到来した今、Suttonの洞察がどのように より極端な形で再検証されたか に注目します。

1. 「苦い教訓」とは何か

Suttonの主張は一文で要約できます。

「人間のドメイン知識をシステムに組み込もうとする試みは短期的には役立つが、長期的には必ず、計算をスケールさせる汎用的な方法論に敗北する。」

彼が示すメカニズムは次のとおりです。

ムーアの法則(またはその一般化)
        ↓
時間の経過とともに使える計算量が指数関数的に増加
        ↓
「人間の知恵」は固定資源、「計算」は指数関数
        ↓
長期的には必ず計算が勝つ

研究者は短期的成果のために人間の知識を活用しようとしますが、研究プロジェクトより少し長い時間スケールで見ると、計算量は爆発的に増加 します。そして人間知識ベースの複雑な手法は、むしろ新たに利用可能になった計算資源を活かしにくくし、結局はシンプルで汎用的な方法論に追い抜かれてしまうのです。

2. 歴史が証明する4つの事例

Suttonは自らの主張を裏付けるため、AI史における4つの決定的な瞬間を提示しています。

🏆 事例1: コンピュータチェス (1997)

アプローチ	結果
人間のチェス理解を活用した手法	敗北
大規模な深探索(deep search) + 専用ハードウェア	カスパロフ撃破

当時、人間知識ベースの研究者たちは「これはbrute forceにすぎず、真の知能ではない」と受け入れられませんでした。しかし、これこそが苦い教訓の本質 なのです。

🏆 事例2: コンピュータ囲碁 (2016, AlphaGo)

チェスより20年遅れて、まったく同じパターンが繰り返されました。

初期: 囲碁の特殊性に対する人間知識の活用 → 失敗
後期: 探索 + 自己対戦学習(self-play) → イ・セドル九段を撃破

ここでSuttonは重要な概念を提示します。

探索(Search)と学習(Learning)こそが、計算を任意にスケールさせられる二つの一般的方法論である。

🏆 事例3: 音声認識

1970年代のDARPAコンペティションでの対立構造:

人間知識陣営: 単語、音素、声道構造の知識を活用
統計陣営: 隠れマルコフモデル(HMM) + 大量計算

勝者は統計陣営であり、その後、自然言語処理全体が統計と計算に支配されていきました。そしてその到達点が、現代のディープラーニング音声認識システムです。

🏆 事例4: コンピュータビジョン

初期: エッジ検出、generalized cylinder、SIFT特徴量
現在: 畳み込みニューラルネットワーク(CNN) + 大規模学習データ

⚠️ 2026年の視点から見ると、この部分はさらに興味深いことになっています。 後ほど詳しく触れます。

3. 二つの一般的教訓

Suttonはこれらの事例から、二つの深い洞察を導き出します。

💡 教訓1: 汎用手法の力

計算量がいくら大きくなってもスケールし続けられる手法は、たった二つ:探索(Search)と学習(Learning)。

💡 教訓2: 「心の中身」をコードに埋め込むな

心の実際の中身は、終わりがないほど複雑である。
空間、物体、複数エージェント、対称性といった概念を単純化してシステムに組み込もうとするな。
代わりに、こうした任意の複雑性を 発見できる メタ手法(meta-methods)だけを組み込むべきだ。

「我々が望むのは、我々のように発見できるAIであって、我々が発見したものを内包したAIではない。」

この一文こそが、このエッセイのエッセンスです。

4. なぜ「苦い」教訓なのか

Suttonがこの教訓を「苦い(bitter)」と表現する理由は明確です。

AI研究者は常に自分の知識をシステムに組み込みたがる(人間的・心理的欲求)
それは 短期的には常に効果が出る (だからこそ危険)
しかし長期的には停滞し、むしろ進歩を妨げる
結局「人間中心的」なアプローチを否定する形で突破口が開かれる

自分が愛したアプローチが否定される形で勝利が訪れるため、その成功には苦味がつきまとうのです。

5. 2026年の視点 — 教訓はさらに強化された

🔥 Transformerがすべてを変えた

Suttonが2019年にこの文章を書いた時、彼はコンピュータビジョンを「畳み込みと不変性」という二つの概念で要約しました。しかしその直後、彼の主張はより極端な形で検証されること になります。

年	出来事	意味
2017	Transformer (Attention) 登場	始まり
2020	Vision Transformer (ViT)	畳み込みなしでSOTA達成
2022~	MAE、DINOv2など	CNN時代の終焉
2023~	LLMがあらゆるマルチモーダルタスクを吸収	タスク別モデルの消滅

皮肉なことに、Sutton自身が例として挙げたCNNですら、人間設計の痕跡が多すぎた のです。畳み込みという 空間的局所性(spatial locality)という人間が与えた帰納バイアス すら不要だったのです。

Transformerは、ほぼいかなる構造的仮定もなく、データと計算だけでより良い性能を出すという点で、苦い教訓の最も極端な検証 となりました。

🔥 LLM = 苦い教訓の決定版

GPT-4、Claude、Geminiといった現代の大規模言語モデルは、次のことを示しています。

文法ルールをコード化しない → データから学習
常識推論ルールをコード化しない → データから学習
ドメイン知識(法律、医学、コーディング)を個別に学習させない → 同じアーキテクチャ、より多くのデータ
多言語処理のための言語別モデルがない → 一つのモデル、すべての言語

そして最も決定的な事実:

モデルのサイズとデータを増やすと、明示的に教えていない能力が自然発生(emerge)する。

これこそ、Suttonが語った 「発見できるAI」 の姿ではないでしょうか。

6. エンジニアが日常で直面する「苦い教訓」

理論的な話のように聞こえますが、この教訓は私たちの 日常的なエンジニアリング判断 に直接影響します。

現場での分岐点

[分岐A] 「この分野の専門家の知識をルールでコード化しよう」
              ↓
   速く動作するベースラインが得られる
              ↓
   しかし6ヶ月後、より多くのデータで学習された
   汎用モデルに追い抜かれる

[分岐B] 「データをもっと集めて、より大きなモデルを使おう」
              ↓
   初期は遅くて高くつくように見える
              ↓
   しかし長期的にはスケーリングがすべてを解決する

では「苦い教訓」はドメイン知識が無意味だという意味なのか?

そうではありません。 Suttonの主張は次のように解釈すべきです。

❌ 「ドメイン知識を使うな」
✅ 「ドメイン知識を モデルの構造に埋め込むな。代わりに データ、評価、報酬設計 に使え」

ドメイン専門性は、以下の領域では依然として核心的です。

どの問題を解くべきかを定義すること
良質なデータを収集・キュレーションすること
正確な評価指標を設計すること
モデル出力を検証し、安全性を確保すること

つまり、「What」と「Why」は人間が、「How」はますますモデルが担当する 方向に進んでいるのです。

7. 製造業AIにも当てはまるのか — 筆者の現場感覚

筆者は外観検査AIの分野で開発を行っていますが、この教訓は製造業の現場でも徐々に現れています。

数年前まで、欠陥検出は ルールベース画像処理 + 専門家のドメイン知識 で構成されていました。「この部品ではこの特徴量、この閾値で」という人間設計が中心でした。

しかし最近では、少数枚学習で汎化する汎用異常検知モデル(PatchCore, DINOv2-based手法など) が、長年積み上げてきたルール群を一気に置き換える事例が増えています。これもまた、小規模ながら一つの「苦い教訓」と言えるでしょう。

ただし重要なのは — 上述したとおり — ドメイン知識はデータ収集と評価設計の中に生き続けている ということです。「人間設計のアルゴリズム」から「人間設計のデータと評価」へと、知識の置き場所が移っているだけなのです。

8. おわりに — 我々は何をすべきか

Suttonの結論をもう一度噛みしめてみましょう。

「我々が望むのは、我々のように発見できるAIであって、我々が発見したものを内包したAIではない。」

2026年の我々は、このメッセージをこれまで以上に真剣に受け止めるべきです。日々新しいファウンデーションモデルが発表され、昨日までSOTAだった特化モデルが、汎用モデルによって一瞬で追い抜かれる時代です。

開発者として我々が問うべき質問は、次のようなものです。

今自分が作っているシステムは、計算が10倍、100倍になった時に一緒に良くなるか?
モデルに組み込もうとしている「人間の知恵」は本当に必要か、それとも短期的な成果のためだけのものか?
自分の知識をモデルの構造ではなく、 データと評価 に移すことはできるか?

苦い教訓は、7年が経った今も — むしろこれまで以上に — 我々に深い問いを投げかけ続けています。

参考資料

原文: The Bitter Lesson - Rich Sutton (2019)
関連論文:
- Vaswani et al. (2017) "Attention Is All You Need"
- Dosovitskiy et al. (2020) "An Image is Worth 16x16 Words" (ViT)
- Kaplan et al. (2020) "Scaling Laws for Neural Language Models"