「ChatGPTはどのようにうごいているか？」を読んだ感想です。
読後にAIに聞きながらまとめてみると
イメージ的には「Attention Is All You Need」という論文でTransformerという「万能類似検出器」が発明された。その凄さは、画像・音声・文章など、あらゆるデータを同一の仕組みで扱えることにある。
「Attention Is All You Needが今のAIの夜明けだね、なんていうと通っぽいかも」とAIに聞いたところ、こんな返事が来た。
最も「わかってる人」っぽい一言はこれだ。
「GPTもGeminiもClaudeも、結局みんな2017年の8人の論文の上に乗っかってるんだよね」
ポイントは3つ。
- 著者がたった8人だったという事実
- そのうちほぼ全員がGoogleを去り、Cohere・Sakana AIなど各社を創業、またはOpenAIなどへ移籍した
- つまりあの論文は、現在のAI業界の「人材的な起源」でもある
本の内容について
冒頭に「四則演算がわかれば理解できます」と書いてあり、身構えずに読み始められた。
-
2〜3章では「行列」や「ベクトル」も登場するが、必要な範囲をしっかり解説してあり、わかりやすい。高校生の頃、行列の使いみちがわからず勉強に意味を見出せなかったが、今になって初めてその意義がわかった気がした。
-
4章では、ニューラルネットワークやバックプロパゲーションをわかりやすく解説してあり、ちょっとわかった気になれた。
-
5章では、ここまでは従来の機械学習（ML）でも出てきた話だが、「ベクトルで意味を解釈する」word2vecやdoc2vecの登場により、「King − Man + Woman = Queen（王様 − 男性 + 女性 = 女王）」という計算が可能になったという話が印象的だった。エンベディング（文書などをベクトル化すること）によって「似ている」を判定できるようになる。調べてみると、動物の鳴き声をエンベディングして「動物語の翻訳機」を本気で作っている研究もあるそうだ（東京大学）。
https://utf.u-tokyo.ac.jp/project/pjt174 -
6章では、Transformer・Attention・「Attention Is All You Need」などの用語を解説。読み終えたあと、少しAIの本質がわかった気になれた。
-
7章では、Grokkingという謎現象が登場する。意識への第一歩、なのかもしれない。
この本、「AIって結局なんなの？」という問いに、数式を武器にせず丁寧に向き合ってくれる一冊だった。読み終えたころには、ChatGPTとの会話がちょっと違って見えてくるかもしれない。