AI開発40年の経験から考える、AIガバナンスとAI安全性の本質

生成AIやAIエージェントの進化が加速する中、多くの議論はモデル性能や推論速度、コスト削減に集中しています。

しかし、今AI業界で本当に重要な問いは別のところにあります。

私たちは、この先も持続可能なAIを作れているのだろうか？

今回は、1986年からAI研究に携わり、AIガバナンス分野で長年活動してきた Dr. James Ong 氏の考えをもとに、AI開発者が今考えるべき「AIガバナンス」と「AI安全性」について紹介します。

⸻

AIブームは過去にも崩壊した

現在は生成AIブームの真っただ中です。

毎日のように新しいモデルやAIサービスが登場し、多くの投資が集まっています。

しかしJames氏は、現在の状況を見て1980年代後半のAIブームを思い出すと語ります。

当時も、

• 巨額投資
• 過度な期待
• 技術以上のマーケティング

によって市場が加熱しました。

その結果、多くの期待に技術が追いつかず、AI冬の時代（AI Winter）が訪れました。

AI研究への投資は大きく減少し、業界全体が長期間停滞することになります。

だからこそ現在は、

「AIをどれだけ速く開発できるか」

だけではなく、

「持続可能な形で成長できるか」

が重要になっています。

⸻

AI for Humanityとは何か

James氏が提唱するキーワードが

AI for Humanity

です。

これは単なるAI安全性ではありません。

AIを、

• 技術
• ガバナンス
• ビジネス

この3つを同時に成立させながら発展させる考え方です。

さらにJames氏は、

AIを国連の持続可能な開発目標（SDGs）の新たな目標として位置付ける

「SDG18」

を提唱しています。

つまりAIそのものを社会インフラとして持続可能に発展させるべきという考えです。

⸻

AIエージェント時代に重要なのは「誰が最終判断をするのか」

近年注目されているのがAIエージェントです。

従来のAIは、

• 分析する
• 提案する

ことが中心でした。

しかしAIエージェントは、

• 外部APIを呼び出す
• 決済する
• 予約する
• システムを操作する

など、実際に行動できます。

ここで新しい課題が生まれます。

AIはどこまで自律的に判断してよいのでしょうか？

例えば金融サービスでは、

AIがユーザーの代わりに契約を進めたり、

送金を実行したりするケースも考えられます。

そのとき、

人間が介入するポイント

はどこにあるべきでしょうか。

これは法律だけの問題ではありません。

開発段階で設計すべきアーキテクチャの問題です。

⸻

Voice AIが抱える「信頼」の課題

生成AIの進化によって、

ディープフェイク音声も急速に高品質になっています。

James氏は、

「知らない番号からの電話にはほとんど出なくなった」

と話しています。

これはAI研究者だからではありません。

それだけ音声への信頼が変化しているということです。

Voice AIを開発する企業は、

• 本人確認
• 認証
• AIであることの明示
• 適切な確認プロセス

などを設計段階から組み込む必要があります。

信頼は機能ではなく、設計によって生まれるものです。

⸻

ユーザーがAIをコントロールできることも重要

もう一つ興味深い指摘があります。

それは、

AIの記憶（Memory）

についてです。

最近のAIは長期記憶を持つものも増えています。

便利である一方、

「今回は記憶してほしくない」

という場面もあります。

そのため、

• メモリーを無効化する
• 会話履歴を削除する
• 一時的なセッションを開始する

など、

ユーザー自身がAIをコントロールできる仕組みも重要になります。

⸻

AI開発者に求められる3つの視点

James氏は、開発者に対して次の3つを提案しています。

1. Human-in-the-Loopを設計する

AIだけで判断させるのではなく、

必要な場面では必ず人間が確認できる設計にする。

⸻

1. ユーザーがデータを管理できるようにする

記憶・履歴・プライバシーは、

利用者自身が自由に管理できるべきです。

⸻

1. ガバナンスを設計段階から考える

AIガバナンスはリリース直前に追加するチェック項目ではありません。

仕様設計やアーキテクチャ設計の段階から組み込むべきものです。

⸻

AIの未来は開発者の設計にかかっている

AIガバナンスというと、

法律や政府の話だと思われがちです。

しかし実際には、

AIの未来を決めるのは、

日々コードを書き、

システムを設計し、

AIエージェントを開発しているエンジニアです。

認証をどう設計するか。

ユーザーのデータをどう扱うか。

人間が介入できるポイントをどこに置くか。

こうした一つひとつの設計判断が、安全で信頼できるAI社会につながります。

⸻

まとめ

生成AIやAIエージェントは、今後さらに多くのサービスに組み込まれていくでしょう。

だからこそ、

「何ができるか」

だけではなく、

「どのように安全に提供するか」

も同じくらい重要です。

40年にわたるAIの歴史を振り返ると、

技術だけではAIは社会に定着しません。

持続可能なAIを実現するためには、

技術・ガバナンス・ビジネスを一体で考える視点が、これからますます重要になっていくでしょう。

⸻

関連動画

今回紹介した内容は、Dr. James Ong氏との対談でも詳しく語られています。

▶ https://www.youtube.com/watch?v=JBJKm5CSRuE&t=2s

⸻

著者プロフィール

Agora Japan

Agoraは、リアルタイム音声・動画・AIコミュニケーション基盤を提供する企業です。Qiitaでは、AIエージェント、Conversational AI、リアルタイム通信（RTC）、Voice AIなど、開発者向けの技術・設計・活用事例を発信しています。