はじめに
今回は、コンピュータサイエンティストの Richard Sutton 氏が2019年3月13日に投稿した「 Bitter Lesson 」という記事がAI界隈で波紋を広げておりますので日本語訳をしてみました。記事の原文はこちらを参照ください。Richard Sutton 氏についての詳しい情報は、こちらからどうぞ。
The Bitter Lesson (AIに関する苦い教訓)
70年間に渡る AI 分野の研究で分かったことは統計処理における一般的な手法の活用が最も効果的であるということです。その理由としては大きく2点あります。
- 計算処理のユニット１つあたりに対する費用が、指数関数的に減少している
- 以前までは計算処理に使えるリソースに限度があったが近年の技術発達で膨大な計算が可能となった
短期間で明確な成果をあげるために、過去の研究者たちは人間の知識をデータ化し活用する方法を模索しましたが、長期的な観点からすると、統計処理手法の活用を模索する方が重要でした。また人間の知識をデータに変換し活用する方法は、計算を活用する方法を余計に複雑にするため互いに相反するものでした。
以下では、AI 研究者たちがこれまで経験した苦い教訓の中でも、主要なものを紹介していきます。
Computer Chess (チェス)
1997年、チェスの世界チャンピオンにコンピュータチェスが勝利しました。そのコンピュータには、深層学習をベースとした手法が使用されていました。
この件はチェスという特別な構造に対する人間の理解を活用したメソッドについて探究していた多くのコンピュータチェス研究者たちを、落胆させました。
人間の知識をベースとしたメソッドで人間に勝つことを求めていた彼らからすると、特別なハードウェアとソフトウェアを搭載したコンピュータチェスによる、「総当たり攻撃」探索というメソッドで優勝したという事実は受け入れがたいものでした。
Computer Go (囲碁)
チェスの約20年後には囲碁においても同様の事件が起きました。当初は人間の知識やゲームの特殊性を活かして探索を減らす研究に、多大な労力が割かれていました。しかし、探索が大規模に効果的な活用をされ始めると初期の努力は無駄なものであったことが証明されました。
他にも重要だったのは、価値関数を学習させるために 自己学習を使用したことでした。自己学習し、そして通常の学習を行うことは、膨大なコンピュータ処理で探索を行うことに匹敵する行為でした。AI 研究において、「探索」と「学習」の2つは膨大な計算を活用するための重要な要素です。
チェスの場合も囲碁の場合も、研究の初期段階では、探索を減らす為に人間の知識を利用することに研究者たちは多大な労力を払っていました。しかし、探索と学習を擁した研究の方がより大きな成果を得る結果となったことで、これまでの労力は無駄となりました。
Speech Recognition (音声認識)
音声認識の分野は、1970年代に DARPA の支援のもとで初期の研究が行われました。
研究の中には、人間の言語や音素、音道といった特殊な人間の知識をベースとしたメソッドもあれば、HMMs をベースとしたより統計学的で計算処理を行うメソッドもありました。
そして今回も、統計学を利用したメソッドの方が人間の知識をベースとしたメソッドを勝ることとなりました。そして、統計と計算処理が自然言語処理の分野を数十年かけて少しずつ支配していきました。
近年の音声認識の分野における深層学習の台頭は、この一貫した方向性における最新の出来事です。
深層学習メソッドは非常に優れた音声認識システムを生成するために、人間の知識に頼る代わりに、膨大なトレーニングセットから学習し、そして計算処理をします。
チェスや囲碁といったゲームでもそうでしたが、研究者たちは毎回、自分たちの頭の中の考え方といった知識をシステムに組み込もうとします。しかし、膨大な計算処理が可能となり、それを利用するのが一番効果的であることが証明された今は、そのような試みは無駄であることが証明されました。
Computer Vision
コンピュータビジョンでも似たようなパターンが見られました。初期のメソッドでは、ビジョンを SIFT 特徴の観点から探索、あるいは一般化円筒やエッジの探索と考えていました。しかし、今日ではそれらは全て使われていません。現在の深層学習ニューラルネットワークは、畳み込みの概念と、ある種の不変性というこの2つを使うだけでより良い成果を出しています。
全体の総括
上記の内容はどれも苦い経験ですが、その経験から完全に学べていないことは、我々が同じ過ちを繰り返していることからも明白です。今後、同じ様な過ちをしない為にも、これらの苦い経験について学ぶ必要があります。
以下に、この苦い経験におけるポイントを歴史的観点からまとめました。
- AI 研究者たちは、しばしば彼らのエージェントの中に知識を構築しようとする
- ドメイン知識のデータ化は短期的には有効だが、長期的には研究の停滞や成功が遠のく事態となる
- 探索と学習による計算処理といった真逆のアプローチにより、成功のきっかけが自然と起こる
- これらの成功は当初予定していた人間中心的なアプローチではないため、消化不良な苦い体験となる
そして、これまでの苦い経験から学んだことは、以下の2つです。
-
可能な計算処理がどれだけ膨大になっても、一般的なメソッドが最も効果的であること
- そのメソッドの中でも「探索」と「学習」の2つがとても有用である
-
実際の人間の脳の構造は、どうしようもないくらい複雑であること
- 簡単に人間の脳と同じ構造のものを作成しようとするのは止めるべき
おわりに
以上が Richard Sutton 氏による「 Bitter Lesson 」の翻訳のまとめとなります。
ビジネス的な成果をあげるという観点ではAIという技術を特殊なものにせずクラウド/APIといった汎用的な技術として扱うことが重要であると私は理解しました。今回の記事以外にも様々な記事が Richard Sutton 氏の HP にあるので、ぜひ見ていただければと思います。