はじめに
ひよこです。この前帰宅途中に空を見上げたら、もうオリオン座の季節になっていました。寒いわけです。そんなときふと、昔習ったケプラーが頭をよぎりました。というわけで、今回は「ヨハネス・ケプラー」と「OpenAI」というまったく関係なさそうな 2 つについてただの思いつきですが考察してみたいと思います。
🐣 ごめんなさい。今回はなんの学びもないただのエッセイです
ケプラーってどんな人？
ケプラー (Johannes Kepler, 1571年 - 1630年) は 17 世紀に活躍した天文学者です。以下のケプラーの 3 法則で有名ですね。
- 楕円軌道の法則: 惑星は太陽を焦点の一つとする楕円軌道を描く
- 面積速度一定の法則: 単位時間に太陽と惑星を結ぶ線が掃く面積は一定
- 調和の法則: 公転周期の 2 乗は軌道長半径の 3 乗に比例する $T^2 \propto a^3$
これらは見た目以上に結構な大発見でした。当時はまだ地動説ですら明確な市民権を得ていなかった時代で、その地動説の信者でさえ惑星軌道は円運動だと信じていましたが、ケプラーは観測データから惑星が楕円軌道を描くことを発見しました。また、惑星の運動に中心力が働いていることや、その力が距離とともに減衰することを示唆していたとされています。これは萌芽的ではありますが万有引力の発見に近づいています。
彼は数学の才能にも富んでいて積分の元になった計算方法を提案していたり、数学を用いたモデル化という概念を初めて明確に打ち出した科学者としても知られています。彼は、デンマークの天文学者ティコ・ブラーエ (1546年 - 1601年) の助手として 1600 年から研究を始め、ティコの死後、その観測データを引き継いで研究を続けました。そこで、彼はティコが 20 年以上かけて集めた精密な観測データを解析し、次々と新しい法則を発見していきます。彼が 1627 年に完成させた 『ルドルフ表』 は、天文学と航海術に革命をもたらし、後世のニュートン力学にも繋がる成果となります。
この「膨大なデータの中から法則を見つける」という姿勢は、現代の AI 技術にも通じるものがあると感じました。
でもケプラーってちょっと地味じゃない？
確かに著名度ではケプラーはコペルニクスやニュートンには及ばないでしょう。丁度、地動説のコペルニクスから古典力学のニュートンへの橋渡しをした人、という立ち位置でしょうか。またこれには以下のような要因も無視できないかもしれません。
- ティコ・ブラーエの膨大なデータがなければおそらくケプラーの法則を発見できなかった
- あくまでもデータから法則を導いただけでニュートンの古典力学のように体系的に式を導いたわけではない
つまり、他人のデータを利用して法則を発見しただけであり、しかも力学系全般に使える汎用的な理論を構築したわけではないというわけです。
OpenAI の功績
いまさら私ごときが紹介するのもおかしな話ですが、OpenAI の功績について確認してみましょう。
1. GPT (Generative Pre-trained Transformer)
GPT シリーズは、Transformer アーキテクチャに基づいた大規模言語モデルです。大量のテキストデータによる事前学習によって様々な自然言語処理タスクに対応できる汎用性と高い性能を実現しました。文字通り、生成 AI ブームの火付け役と言えるでしょう。
🐣 OpenAI といえばまずはこれですよね！
2. CLIP (Contrastive Language-Image Pre-training)
CLIP は、テキストと画像を対応付けるマルチモーダルモデルです。4 億枚の画像とそのキャプションのペアを用いて、画像特徴量とテキスト特徴量の対応関係を学習します。事前に学習していない画像に対してもゼロショット転移学習が可能な点が画期的でした。CLIP については以下の記事で紹介しています。
論文紹介： Learning Transferable Visual Models From Natural Language Supervision
3. 拡散モデル (Diffusion Models)
拡散モデルを画像生成に応用し、DALL-E や DALL-E 2 として実用化しました。GAN (敵対的生成ネットワーク) では学習が不安定になりやすい問題がありましたが、拡散モデルはより安定した学習が可能です。この成功は Stability AI の Stable Diffusion など、画像生成分野の発展に大きな影響を与えました。
でも OpenAI って…
確かに OpenAI の AI 分野の功績は驚愕レベルの素晴らしいものばかりです。しかしながら、以下のような少し厳しい見方もできるかもしれません。
OpenAI の貢献をよく見ると、既存技術の併用や計算資源の大規模化に強みがあるという側面が強く、根源的な理論に関する貢献度が少し弱いように見えます。
🐣 もちろん OpenAI の RLHF に関連する基礎研究は高く評価していますが
1. GPT と Transformer
Transformer は、2017 年に Google の研究者によって提案された画期的なアーキテクチャであり、OpenAI が独自に提案したものではありません。GPT は、Transformer をベースに大規模な言語モデルとして活用し、その潜在能力を最大限に引き出したと言えます。モデルサイズの大規模化と大量のテキストデータによる事前学習により、前例のない性能を実現しました。
2. 拡散モデルと先行研究
拡散モデルの基礎理論は、2015 年に Sohl-Dickstein らによって提案されていました。OpenAI は拡散モデルを画像生成に応用し、DALL-E シリーズとして実用化することで、その新しい可能性を示しました。
3. CLIP とデータ規模
CLIP は、画像とテキストのペアデータを大量に収集し、対照学習によって両者の対応関係を獲得します。アーキテクチャ自体は既存の技術を併用したものですが、Web から収集した膨大なデータと強力な計算資源を活用することで高い性能を達成しました。
では OpenAI の強みってなんだったの？
上記の点を踏まえると、OpenAI の強みは以下の点にあると言えるでしょう。
- 優れた技術要素 (Transformer、拡散モデル) を併用し、新たな応用を開拓する能力
- 大規模なデータ、計算資源を投入し、既存モデルの性能を極限まで引き出す能力
- 大規模モデルの学習、デプロイ、運用を可能にする高度なシステム構築能力
- 新技術を分かりやすく説明し、世の中に広く認知させるマーケティング力
🐣 もちろん理論研究面でも超一流なんですが Google や Meta などと比べたときに突出している部分は？ということです
OpenAI は、既存の知識、技術、データをうまく併用し、それを大規模化することで、社会を根底から改変するような革新的な成果をあげてきました。新しい理論や手法をゼロから生み出すというよりは、既存の技術を洗練させ、その応用範囲を広げることに長けているのでしょう。
ケプラーと OpenAI
そこで、ふとケプラーと OpenAI の類似点に気が付きました。
既存のデータに基づく発見
ケプラー: ティコ・ブラーエが残した膨大な天文データを丹念に解析し、卓越した数学能力と先入観にとらわれない深い洞察力でケプラーの法則を発見しました。
OpenAI: Web 上の大量のテキストデータや画像データを用いて、GPT や CLIP などのモデルを学習させています。つまり既存のデータを元に、AI モデルの能力を向上させることに重点を置いています。
独自の理論体系の構築ではなく、データに基づく法則の発見
ケプラー: 惑星の運動を説明する法則 (楕円軌道、面積速度一定、調和の法則) を発見しましたが、その法則を力学的な原理から導いたわけではありません。ニュートンの万有引力のような、より普遍的な理論は構築していません。
OpenAI: GPT や CLIP は、既存の手法を元に学習されたモデルであり、内部での学習過程が完全に理解されているわけではありません。理論的体系よりも、実験的・実践的な成果を重視する傾向があります。
既存技術の併用と大規模化
ケプラー: 当時の天文学の知識と、ティコの精密な観測データを併用し、新しい法則を発見しました。
OpenAI: Transformer や拡散モデルといった既存の技術を併用し、大規模データと計算資源を投入することで、AI モデルの性能を大幅に向上させました。
偉業としての評価
ケプラー: ケプラーの法則は、後のニュートン力学の基礎となり、天文学や力学の発展に大きく貢献しました。
OpenAI: OpenAI のモデルは、自然言語処理や画像認識といった分野で、実用的な AI の可能性を大きく広げ、生成 AI ブームを引き起こしました。
つまりケプラーと OpenAI の一番の強みは新しい理論の提案よりも既存の手法やデータをうまくまとめる抜群のセンスにあるということです。どちらの成果もその後の世界を大きく変えうる画期的なものでした。結局どちらもスゴいということなんですよね。
おわりに
今回は、ケプラーと OpenAI を結びつけるという自分でもなんで思いついたのかわからない内容で書き連ねてしまいました。理論、実験、応用などどの分野においてもやっぱりセンスなんですよね。私も頑張ってセンスを磨いていきたいものです。冬の夜空に煌めく星を眺めながら、世界で煌めく生成 AI の未来に思いを馳せるのもいいかもしれませんね。ではまた次の記事で。