📺 この記事は YouTube チャンネル きなこもっちーのテック深掘り の動画解説記事です。
▶️ 動画はこちら → OpenAI安全性チーム崩壊の全記録 — 2年間で3チームが消えた日

はじめに

🐹 もっちー「きなこ、OpenAIって世界一のAI企業じゃないの？なんで安全性チームが崩壊するの？」

🦜 きなこ「そこよ。世界一の企業が、なぜ自ら安全性チームを潰したのか。答えは構造にあるの。」

🐹 もっちー「構造？組織の話？それってつまり、誰か一人が悪いってわけじゃないってこと？」

🦜 きなこ「そう。個人の問題じゃない。AIを安全にする専門チームが2年で3回、連続して消えた事実を追うわ。」

🐹 もっちー「3回！？同じパターンが3回繰り返されたってこと？それはおかしいやろ！」

🦜 きなこ「繰り返された、ということ自体が答えなの。今日はその全記録を一緒に追っていこう。」

🐹 もっちー「これ、ちゃんと知りたい。OpenAIが何をしてきたのか、正直に教えてほしい。」

🦜 きなこ「データと一次ソースで語るわ。では、事の始まりから丁寧に見ていこう。」

Superalignmentチームとは何だったのか

🦜 きなこ「まず背景から。2023年7月5日、OpenAIは新チームを発足させたの。」

🦜 きなこ「名前は「Superalignment」。超知能AIが人類の意図通りに動くよう整合性を確保するチームよ。」

🐹 もっちー「「超整合性」って何？難しそうな名前だね。」

🦜 きなこ「超知能AIが人間の価値観に沿って動くよう制御する研究よ。共同リーダーはSutskeverとLeike。」

🐹 もっちー「SutskeverってOpenAIを作った人だよね？その人が安全性を担当してたの？」

🦜 きなこ「そう。OpenAIを創業した一人で、GPTシリーズの技術的基盤を作った人よ。約25名体制でスタートしたの。」

🦜 きなこ「チームは3つのサブチームに分かれ、10ヶ月で3本の論文を発表したの。」

🐹 もっちー「旗艦論文の「弱から強への汎化」って、ざっくりどういうこと？」

🦜 きなこ「弱いAIを使って、より賢いAIを安全に制御できるかを実験する手法ね。ICML 2024に採択されたわ。」

🐹 もっちー「なんか「小さいAIが先生になって大きいAIを教える」みたいな逆転の発想だね。面白い！」

🦜 きなこ「まさにそう。被引用数200件以上を記録し、多数のフォローアップ研究が生まれたの。」

🦜 きなこ「でも、この優秀なチームには最初から大きな問題が潜んでいたの。約束された資源の問題よ。」

🐹 もっちー「資源の問題？具体的には何が約束されてたの？」

🦜 きなこ「設立時に「今後4年間、計算資源の20%をこのチームに充てる」と公約したの。」

🐹 もっちー「20%って相当な量やん！それが守られなかったってこと？」

🦜 きなこ「Fortune誌の6名の内部情報源によると、この約束は一度も果たされなかったの。」

🐹 もっちー「設立発表の段階で約束した数字が守られなかった……。これ、最初から形だけだったってことになるね。」

🐹 もっちー「ハムスターの回し車みたいだね。一生懸命回してるけど、どこにも向かってない感じ。」

2023年11月取締役会危機とチーム崩壊の因果関係

🦜 きなこ「次に、2023年11月の取締役会危機がどうSuperalignment崩壊につながったかを見ていくわ。」

🐹 もっちー「ニュースで話題になってたやつだ。Altmanが一旦クビになって、すぐ戻ってきたやつだよね。」

🦜 きなこ「そのクーデターを主導したのがSutskeverだったの。52ページのメモを取締役に送って行動した。」

🐹 もっちー「52ページ！？それって相当な告発文書やん。何が書いてあったの？」

🦜 きなこ「「Altmanは嘘をつき、幹部を弱体化させ、対立させるパターンを示している」と記されていたの。」

🐹 もっちー「それ、Altmanが戻ってきた後にSutskeverと一緒に仕事するの、相当気まずいよね……。」

🦜 きなこ「実際、Altman復帰後にSutskeverはオフィスに一度も戻らず、チームにアクセスもできなかったの。」

🐹 もっちー「チームのリーダーがチームに近づけない状態って、もうチームとして機能してないやん！」

🦜 きなこ「加えて取締役会の構成も大きく変わったの。安全性志向の学者から、商業経営者が支配的な構成へ。」

🐹 もっちー「Axiosが「学者とEffective Altruism派が去り、パワープレーヤーが入った」と評したんだよね。」

🦜 きなこ「この構成変化が、安全性の優先順位を下げる方向に働いたというのが専門家の見方ね。」

🐹 もっちー「人が変わると組織の判断が変わる。AIの安全性ってそういう構造的リスクを持ってるんだね。」

🦜 きなこ「そして、Altmanは危機を生き延びたことで権力を強化した。従業員の96%が彼の復帰を支持したの。」

🐹 もっちー「96%……それってもう安全性の観点からの異議申し立ては、事実上できない状態だよね。」

🦜 きなこ「しかも2024年3月には、Altman自身も取締役に復帰したの。監視される側が監視する側に入ったわけよ。」

🦜 きなこ「それがわずか半年後の崩壊につながるの。政治的保護を失ったチームの末路を次に見ていくわ。」

チーム解散とリーダーたちの離脱

🦜 きなこ「2024年5月14日にSutskeverが退職。その3日後、共同リーダーのLeikeも辞任したの。」

🐹 もっちー「共同リーダーが2人とも立て続けに辞めた。これはもうチーム終わりだよね。」

🦜 きなこ「Jan Leikeは辞任と同時に長い投稿を残したの。安全性より製品優先だったと、明確に指摘したわ。」

🐹 もっちー「でも普通、退職する時ってそんな言わないよね。よっぽど我慢してたってこと？」

🦜 きなこ「それとね、Jan Leikeは2023年11月のAltman復帰を求める書簡に、署名しなかったのよ。」

🐹 もっちー「96%が署名した書簡に署名しなかったってことは、かなり早い段階から懐疑的やったんやな！」

🦜 きなこ「2人のリーダーが去った後、約25名のチームメンバーは即座に再配置された。チームとしての活動は終了よ。」

🐹 もっちー「「超知能AIを安全にする」ための専門チームが、約1年で消えた。それだけのことがあったんだね。」

🦜 きなこ「しかも離脱はその後も続いたの。安全性研究のVP、Lilian Wengが2024年11月にOpenAIを去ったわ。」

🐹 もっちー「安全性研究のVPまで辞めたの？それは相当な打撃だよね。」

🦜 きなこ「この一連の離脱で、安全性研究者の約50%がOpenAIを去ったという推計もあるの。」

🐹 もっちー「半分……それって会社としてどう考えてるんだろう。」

🦜 きなこ「Superalignment Fast Grantsという1000万ドルの外部研究助成金プログラムも、静かに終了したの。」

🦜 きなこ「その答えも後半で出てくるわ。まずは、去っていった研究者たちがどこへ向かったのかを見ていくよ。」

離脱した研究者たちの新天地

🦜 きなこ「OpenAIを去った研究者たちは、それぞれ別の場所でAI安全性の研究を続けているの。」

🐹 もっちー「みんなどこに行ったの！？」

🦜 きなこ「まず注目はSutskeverよ。彼は2024年6月にSSI、安全な超知能を目指す会社を共同設立したの。」

🐹 もっちー「SSIって、すでに話題になってるよね。確か評価額がとんでもなかったような。」

🦜 きなこ「設立からわずか約1年で約30億ドルを調達し、評価額は約320億ドルにまで達したの。」

🐹 もっちー「3兆2000億円超！？製品もデモもないのにそんな評価されるん！？」

🦜 きなこ「そうなの。2026年3月時点で、SSIは公開製品もデモも論文も一切発表していないのよ。」

🐹 もっちー「それはそれでAI投資の過熱感がすごいね。名前があれば評価額がつく時代なのか。」

🦜 きなこ「次はJan Leike。離脱の11日後にAnthropicに入社して安全性チームを率いたの。」

🐹 もっちー「11日って早すぎる。もう決まってたんじゃないかって感じるね。」

🦜 きなこ「そして面白いことに、Anthropic自体も2020〜2021年にOpenAIから同じような理由で分離独立した会社なの。」

🐹 もっちー「つまり同じパターンが繰り返されてるってことやん！安全性vs商業化の構図は変わらへんのか！」

🦜 きなこ「他にもJohn Schulman。OpenAI創業者の一人で、Anthropicに5ヶ月だけいたわ。」

🐹 もっちー「今はどこにいるの？」

🦜 きなこ「元OpenAI CTOのMuratiが設立した会社で、Chief Scientistを務めているの。」

🐹 もっちー「OpenAIを出た人たちがどこ行っても会社作ってどんどん資金集まるって、ものすごい業界だよね。」

🦜 きなこ「これは重要なポイントよ。AI安全性の知見と人材が、OpenAIから業界全体に分散していったの。」

🐹 もっちー「それって良いことでもあるよね。安全性研究が特定の会社だけに集中しないっていう意味では。」

🦜 きなこ「そういう見方もできるけど、根本的な問題はまだ解決してない。次はその問題の一端を見ていくわ。」

NDAスキャンダル: エクイティ没収と口封じの構造

🦜 きなこ「次は、研究者たちが口を封じられた仕組みを見ていくわ。NDAスキャンダルよ。」

🐹 もっちー「NDAって普通の秘密保持契約だよね？それの何が問題だったの？」

🦜 きなこ「問題は内容よ。「生涯にわたる非中傷条項」、つまりOpenAIを批判することを生涯禁止したの。」

🐹 もっちー「生涯！？転職後も一生批判できんってこと？それはおかしいやろ！労働者の権利はどこいった！」

🦜 きなこ「さらに、NDA自体の存在を認めることすら違反という条項もあったの。二重の口封じよ。」

🐹 もっちー「「秘密にしてる秘密の存在も秘密」って、それどうやって法的に成立するの……？」

🦜 きなこ「そこに、確定済みのエクイティ——つまり受け取る権利が確定している報酬を没収するという脅しが加わったの。」

🐹 もっちー「え、もう確定してる報酬を没収する！？それは違法じゃないの！？」

🦜 きなこ「Daniel Kokotajloというケースが象徴的ね。彼は離脱時に純資産の約85%にあたるエクイティを放棄したの。」

🐹 もっちー「純資産の85%……安全性の懸念を言うためにそれだけ払わないといけないって、怖すぎる……」

🦜 きなこ「Vox誌のスクープで内容が暴露され、AltmanはXで「知らなかった、間違っていた」と謝罪したの。」

🐹 もっちー「CEOが自分の会社のNDAの内容を知らないって、それ自体が問題やん！」

🦜 きなこ「Voxの調査では、リーク文書に2024年4月29日付けでCOOの署名があったことも確認されているわ。」

🐹 もっちー「スキャンダルが表に出たあとはどうなったの？」

🦜 きなこ「2024年5月24日に方針転換を発表。さらにSECへの内部告発も出て、規制当局の注目も集めたの。」

🐹 もっちー「安全性の問題を言おうとした人が、お金と法的脅しで黙らされていたってことか。」

🦜 きなこ「これがOpenAIの安全性文化の劣化を示す症状の一つよ。次はOpenAI自体の対応を見ていくわ。」

OpenAIの対応: 3チーム連続消滅と「safely」削除

🦜 きなこ「Superalignment解散への対応として、取締役会はわずか10日後に「SSC」と呼ばれる安全委員会を設立したの。」

🐹 もっちー「素早い対応やん。でも何か引っかかるな。」

🦜 きなこ「引っかかるわよね。このSSCに、当のSam Altman本人がメンバーとして入っていたの。」

🐹 もっちー「え！自分が経営するAIの安全性を自分で監視するってこと！？それって利益相反やろ！」

🦜 きなこ「そう。米上院議員5名が批判の書簡を送り、元取締役も「自己統治は利益インセンティブに耐えられない」と指摘したわ。」

🦜 きなこ「90日間レビューの末、AltmanはSSCから除外され、カーネギーメロン大学教授のZico Kolterが新議長に就任した。」

🐹 もっちー「一歩改善ではある。でも「3チーム連続消滅」って言ってたよね？その続きは？」

🦜 きなこ「2024年9月に後継のMission Alignmentチームが設立されたの。でもこれも2026年2月に解散したわ。」

🐹 もっちー「また解散……。作っては解散、作っては解散、なんやそれ……」

🦜 きなこ「18ヶ月間で3つの安全性専門チームが消えたことになる。そして決定的なことが2025年に判明したの。」

🐹 もっちー「何が判明したの？」

🦜 きなこ「OpenAIのミッション声明から「safely」という単語が削除されていたことが、IRS申告書から発覚したの。」

🐹 もっちー「「安全に人類に恩恵をもたらす」から「安全に」が消えたってこと！？それ本質変わってるやん！」

🦜 きなこ「そしてFuture of Life Instituteが2025年冬に実施したAI安全性評価では、OpenAIはC評価。」

🦜 きなこ「しかも注目すべきは、全社が「存在論的安全性」でD以下の評価だったこと。これはOpenAI固有の問題じゃないの。」

🐹 もっちー「全社がDって、それは業界全体の問題ってことだね。これは怖い話だ。」

🦜 きなこ「だから議会や規制当局が動き始めている。その動きを次のセクションで見ていこう。」

産業への波及: 規制・警告・内部告発

🦜 きなこ「この一連の出来事は、AIを外から規制しようという動きを大きく加速させたの。」

🐹 もっちー「具体的にどんな動きがあったの？」

🦜 きなこ「まず2024年6月、OpenAIとGoogle DeepMindの現・元従業員13名が「警告する権利」書簡を公開したの。」

🐹 もっちー「AIの先生みたいな人たちが支持したってこと？」

🦜 きなこ「AIの基礎を作った研究者、HintonやBengioやRussellたちが支持を表明したの。」

🐹 もっちー「AIの著名研究者たちが声明出したんだ！それは重いよね！」

🦜 きなこ「さらに2024年9月には、米上院司法委員会でAI安全性の公聴会が開かれた。」

🦜 きなこ「元Superalignmentメンバーのウィリアム・ソーンダーズが証言し、「信頼を失い辞職した」と直接述べたの。」

🐹 もっちー「議会で「信頼を失いました」って証言するのはかなりのことだよね。」

🦜 きなこ「EU AI Actも2024年8月1日に発効して、段階的な実施が進んでいるわ。」

🦜 きなこ「元OpenAIの政策研究者Miles BrundageはAI監査機関「AVERI」を2026年1月に設立したの。」

🐹 もっちー「「AI企業が自分の宿題を自分で採点すべきではない」っていう考え方だね。」

🦜 きなこ「そうよ。この事件を通じて、AI安全性は「AI企業の内部問題」から「社会全体の問題」になっていったの。」

🐹 もっちー「チームが崩壊したことで、皮肉にも外から守る仕組みが動き始めたってことか。」

🦜 きなこ「いい整理だよ。じゃあ最後に、この問題の本質と私たちに何ができるかをまとめよう。」

まとめ

🦜 きなこ「まとめをするね。OpenAIのSuperalignment崩壊は孤立した事件じゃなく、構造的に予測可能な帰結だったの。」

🐹 もっちー「3チームが連続して消えたのも、みんな同じパターンを辿ったんだよね。」

🦜 きなこ「そうよ。個人の問題じゃなく、組織の構造が原因だということが繰り返しで証明されてしまったわ。」

🐹 もっちー「でも、去っていった研究者たちは諦めてないんだよね。SSIもAnthropicでの研究も続いてる。」

🦜 きなこ「そこが希望よ。AI安全性の知見と人材が業界全体に分散したことで、多様な視点からの研究が進んでいるの。」

🐹 もっちー「「底辺への競争」から抜け出すには、外部からのチェックが必要ってことか。それはなんか政治の話と似てるな。」

🦜 きなこ「自己統治の限界を、歴史は繰り返し証明しているからね。でも規制が動き始めているのは確かよ。」

🐹 もっちー「……ところで飼い主、最近またChatGPTのサブスク増やしてたよな。」

🦜 きなこ「見てた！？安全性より課金を優先する人、身近にもいるのね……私のエサ代より高いAIに課金してるし。」

🐹 もっちー「AIの安全性を守るのか商品化を優先するのか、その答えは飼い主のサブスク行動に現れてるわ！」

🦜 きなこ「まぁ、私たちも飼い主のタブレットでリサーチしてるし、人のことは言われへんわなぁ。」

🐹 もっちー「あ、京都弁出た。今日はよっぽど感じるものがあったんだな、きなこ。」

🦜 きなこ「さて、コメントで聞かせてほしいんだけど。AIの安全性は、今の法律や外部規制で守れると思う？」

🐹 もっちー「「企業に任せるべき」「外部規制が必要」どっちだと思う？みんなの意見を聞きたいにゃ。」

🦜 きなこ「AnthropicやGoogleのAI倫理チームの話も、別の動画で深掘りする予定よ。興味があったら覗いてみてね。」

🐹 もっちー「あ、飼い主帰ってくる音した！早く閉まらないと！」

🦜 きなこ「というわけで今日はここまで！タブレット返しておかないと。次の動画でまた会いましょう！」

きなこもっちーのテック深掘り では、AI/LLM を中心としたテック全般をハムスター（🐹 もっちー）とセキセイインコ（🦜 きなこ）の掛け合いで楽しく解説しています。

▶️ 動画で観る → OpenAI安全性チーム崩壊の全記録 — 2年間で3チームが消えた日

👍 この記事が役に立ったら LGTM・ストックしてもらえると励みになります！

📺 チャンネル登録はこちら → きなこもっちーのテック深掘り

🔗 他の解説動画も見る → きなこもっちーのテック深掘りの動画一覧