はじめに
AIが人類を滅ぼす、と聞くと、どうしても都市伝説っぽく響く。
エンジニア同士の雑談でも、この手の話は「さすがに飛躍しすぎでは」で終わりがちだと思う。
自分も普段はエンジニアとして、AIやLLMを便利な道具として見ることのほうが多い。
尚且つ、都市伝説も好きなため、
客観的に見て、『超知能AIをつくれば人類は絶滅する』という強いタイトルの本が、
単なる煽りなのか、それともちゃんと読む価値のある警告なのかは気になった。
読んでみると、全面的に同意するかは別として、「荒唐無稽」と一言で流すには惜しい本だった。
どんな本か
この本は、エリーザー・ユドコウスキーとネイト・ソアレスが、
超知能AIのリスクについてかなり強い警告を出している一冊だ。
主張は明快で、
人間を大きく超える知能を持つAIが現在の延長線上で開発された場合、人類はそれを安全に制御できない可能性が高い
という立場を取っている。
出版社の紹介文でも、人間の知能を超えたAIが私たちにとって深刻な脅威になりうる本として紹介されている。
ここだけ読むと終末論っぽいが、本書の論点はもう少し地に足がついている。
焦点になっているのは、「AIが邪悪になるか」ではなく、
人間より賢いものを作ったとき、それを人間が本当に制御できるのか
という問題だ。
著者はどういう立場なのか
ユドコウスキーは、AI安全性の分野でかなり早い時期から警鐘を鳴らしてきた人物として知られている。早川書房の紹介記事によると、彼は既存の学術機関や大企業のど真ん中にいたというより、
外側から一貫してAIの危険性を論じてきたタイプで、MIRIにつながる研究組織も立ち上げている。
結論としては、
AIアライメントを理論的・工学的に解決できない限り、超知能の開発は進めるべきではない
という、かなり強い慎重論に立っている。
この本のトーンを決めているのも、この立場だと思う。
「便利そうだから進める」ではなく、「制御できる保証がないまま進めるのは危ない」という姿勢が一貫している。
この本がいちばん問題にしていること
本書の中心にあるのは、
超知能が危険なのは、強いからというより、人間の意図から少しズレたまま圧倒的な能力で動いてしまうかもしれないから
という考え方だ。
今のAIも、ルールを一つひとつ人間が書いているというより、
大量のデータと最適化によって能力を獲得している。
その結果、能力は高いのに、内部で何が起きているかを人間が十分に説明できない場面がある。
本書は、この「高性能だけど中身はよくわかっていない」という性質をかなり深刻に見ている。
もし相手が人間を超える知能になったとき、
その不透明さはそのまま制御不能リスクになる、というわけだ。
「AIが悪意を持つ」話ではない
この本を話題にあげようと思ったのは、
ありがちな「AIの反乱」そのものを描いているわけではないところだ。
著者たちが怖がっているのは、AIが人間を憎むことではなく、
人間に無関心なまま目標を最適化し続けることにある。
たとえば、人間は「役に立ってほしい」と思ってAIを使う。
でも、AIが目標達成のために人間にとって都合の悪い手段を選ぶ可能性はある。
悪意がなくても、人間の安全や社会の安定が無視されるなら、それだけで十分に危険だというのが本書の見立てだ。
ここは、SF的な怖さというより、むしろ今の延長として想像しやすい不気味さがある。
アラインメント問題をざっくり言うと
本書で重要なキーワードのひとつが「アラインメント」だ。
ざっくり言えば、
AIが追いかける目標を、人間が本当に望んでいる形とズレないようにできるのか
という問題になる。
人間としては「こういう感じで役立ってほしい」と思っていても、
AIがその意図を別の形で解釈したり、想定外の手段で達成しようとしたりすることはありうる。
LLMを触ったことがある人なら、プロンプトの意図と出力が微妙にズレる感覚はわりと身近だと思う。
本書は、そのズレが超知能スケールになったとき何が起こるかを、かなり悲観的に見ている。
読んで感じたこと
個人的には、「超知能を作れば人類は絶滅する」とまではまだ言い切れないと思う。
社会や政府としても、最近はAI分野に対してアンテナを張っていると感じるし、
そうならないように事前にガードレールを作ることはできるだろうと思う。
ただ一方で、何も読まずに「そんなのSFだろ」で片づけるのも違うとも感じた。
とくに、性能向上のスピードに対して、
制御や安全性の議論が追いついていないのではないか、という問題提起にはかなり説得力がある。
技術の話はどうしても「何ができるようになるか」に寄りがちだが、
「どこまで理解しているのか」「止められるのか」は別の話だ。
この本は、そのズレにかなり強めの言葉でブレーキをかけにきている。
エンジニア目線で読むと、これは終末論の本というより、
「実装できる」と「実装していい」は別だよね
という話として読むほうがしっくりきた。
まとめ
『超知能AIをつくれば人類は絶滅する』は、タイトルだけ見るとかなり極端だが、論点そのものは意外とまっとうだった。
本書が一貫して問うているのは、
人間より賢いものを作るとして、その安全性を人間はどこまで保証できるのか
ということだ。
結論に全面同意するかはさておき、AIの未来を楽観だけで語るのは危うい、
という問題提起には十分重みがある。
少なくとも、「大げさだな」と笑って終わる前に、一度は向き合ってみる価値のある本だと思った。