この記事の対象読者:企業でCopilotやAIツールの導入・推進を担当している方。「AIが危険」という警告をどう受け取ればいいか整理したい方。
「AIが人類を滅ぼす確率は10%を超える」——そういった主張が、AI研究者や著名なコンピュータ科学者から出るようになって数年が経つ。
こういう報道が出るたびに、会社の中でAIを推進している立場として、少し複雑な気持ちになる。現場ではCopilotの使い方を説明して回り、Power Automateのフローを整備して、「AIは道具です、うまく使いましょう」という話をしている。
一方で、「AIを作っている側」の研究者から「危ない」という声が出ている。これは矛盾しているのか、それとも両立するのか。企業でAI導入を進める立場から整理してみた。
「10%超」という数字の出所と文脈
まずこの数字がどこから来るかを確認する。「AIが人類を滅ぼす確率10%超」という主張は、2023年ごろからAI安全性(AI Safety)の研究者や、ディープラーニングのパイオニアと呼ばれる研究者が個人的な見解として述べたものだ。
この数字は科学的に算出されたものではない。研究者が「自分の直感的な見積もり」として示したものであり、論文で検証されたわけでも、業界全体の合意でもない。
ただ、言っている人が「AIを最も深く研究してきた側の人間」であることは重要だ。外野が騒いでいるわけではなく、作っている側が「これは制御できるか分からない」と言っている。
企業でAIを使う立場からすると、この文脈は区別して理解する必要がある。
- 開発リスク(AI研究の最前線での懸念):汎用人工知能(AGI)や超知能が生まれたとき、それが人間の価値観と整合するかどうかという問題。これは今すぐ企業のCopilotに当てはまる話ではない。
- 運用リスク(今の企業で使うAIの話):誤情報を鵜呑みにする、機密情報を入力してしまう、決定を人間が確認しない状態で動かすなど、現時点で起きているリスク。
この2つは異なる問題だ。
企業のAI担当者にとっての現実的なリスク
「10%」の話は、今日明日の企業業務とは少し離れたところにある。もっと現実的に起きているリスクを挙げると次のようになる。
1. ハルシネーション(もっともらしい嘘の生成)
Copilotに社内情報を聞くと、存在しないドキュメントの要約を返すことがある。「Copilotが言ったから正しい」という使い方をしていると、誤った情報が社内で広がる。
これはすでに現場で起きていることで、「AIが危険だから使わない」ではなく「出力を必ず確認する習慣」の問題だ。
2. 機密情報の入力
「Copilotはどこに情報を送っているか」を理解していないまま使う人が多い。MicrosoftのCopilot(企業ライセンス版)はテナント内で処理されるが、パブリックなChatGPTやBingで同じ感覚で社外秘の情報を入力してしまうケースが起きている。
3. 自動化の「完了」が実際には失敗している問題
これは身近に起きた話だが、Power Automateのフローが「正常終了」と表示されながら、実際には何も処理されていないことが2日間続いた。フローが動いているという前提で次の作業が進んでいたが、結果は空振りだった。
AIや自動化を使うとき、「完了した」という報告と「実際に成果が出た」は別のことだ。これはAIに限った話ではないが、AIを信頼しすぎると見落とす。
4. 人間の判断が消える
「AIに聞いて決める」が当たり前になると、判断の根拠が追えなくなる。コンプライアンス上の問題が起きたとき「AIがそう言ったので」は説明にならない。責任の所在と、最終確認が必ず人間にある設計が必要だ。
「危ない」という声にどう向き合うか
AI研究者の懸念を「大げさだ」と切り捨てるのは簡単だ。でも、彼らが言っているのは「今すぐ危ない」ではなく、「制御の仕組みを作りながら進まないと後で困る」という話に近い。
企業でAIを推進する立場で言えば、これは割と共感できる話だ。
今、Copilotを200人に展開した。全員が正しく使えているかは正直分からない。誰かが機密情報を入力していないか、ハルシネーションを信じていないか、フローが止まっているのに気づかないままでいないか。
「展開した」と「安全に使われている」の間にはギャップがある。そのギャップを埋める仕組み——ログの確認、定期的なヒアリング、使い方の教育——を作っていることが、企業でAIを使う側の「制御の仕組み」だと思っている。
開発側の警告を、使う側の言葉に置き換えると
AI安全性の研究者が言っていることを、企業でAIを使う側の言葉に置き換えると、こうなるかもしれない。
「AIは間違える。間違えても止まる仕組みと、人間が確認する工程を最初から設計に組み込んでほしい。完全に任せきりにしてはいけない」
これはすでに現場で言い続けていることだ。
整理できていないこと
AGIが実現したとき、それが安全かどうかはまだ分からない。「10%」という数字が正しいかも分からない。でも、作っている側が「分からない」と言っているという事実は、「分からないまま使っている」という現実と重なる。
企業では「分からないけど使う」という状況をリスク管理の問題として扱う。リスクを把握し、できる範囲で制御し、問題が起きたときに対応できる準備をする。AIもそれと同じだと思っている。
「危ない」「大丈夫」どちらかに決めるより、「どこが分からなくて、どこは確認できていて、何を見張っているか」を整理しながら進む方が実態に合っている。
関連記事(AI活用の現場観点からのnoteより):
https://note.com/light_tern636/n/n5ed64755795e
Copilot・Power Automate・AIツールの導入・活用のご相談は、ココナラで受け付けています。