多くの企業にとって、AIリスクは依然として承認されていないプロンプトやシャドーツールに集約されがちです。けれども、すでに次の波が始まっています。限られた人の監督のもとで、複数のシステムを横断して行動できる自律型エージェントが、新たなリスクを生み出しつつあります。
エンタープライズのツールやシステムに接続されたAIエージェント（英語）は、シグナルを監視し、ワークフローを起動し、レコードを更新し、メッセージを送ることができます。しかも、人の入力がほとんど要らない場合もあります。つまり、リスクはもはや従来の意味での「シャドーAI」（＝承認されたツールの外で生成AIを使うこと）だけではありません。決定的な違いは、AIエージェントは人の入力がほぼなくても実行できる点です。より大きなリスクは、エージェントが何をしているのか、そしてそれを誰かが把握できているのかどうかにあります。
シャドーAIからシャドーエージェントへ
シャドーAIは通常、承認されていないツール、追跡されないプロンプト、単発の実験などから生まれる「利用上の問題」として語られます。ですが、シャドーAIエージェントは、別の理由で問題になります。自律的であること自体が本質なのではなく、組織のガバナンスモデルの中で登録されていない、管理されていない、観測できない状態にあることが問題なのです。
ここで「エージェント」とは、実行（actuation）、つまり手順を進めたりツールを使ったりして行動を起こせる能力を指します。「シャドー」とは、可視性の欠落を指します。これは、支援から自律へ、反応するシステムから行動するシステムへ、というシフトです。
シャドーエージェントは、小さな助っ人として始まることがあります。たとえば、サポートチケットを自動で振り分けるスクリプトに沿って動いたり、データを監視してしきい値を超えたらアクションを起こす社内エージェントとして動いたりします。多くの場合、目的は、もっと速く進めたい、手作業を減らしたい、チームのボトルネックを解消したい、といった善意のものです。
しかし時間が経つと、エージェントは静かに責任範囲を広げていきます。振り分けルールがいつの間にか意思決定の経験則になり、しきい値が事実上のポリシーになることもあります。とくに、スコープが広がる、オーナーが不明確、変更がテストも文書化もされない、といった状況では起こりやすい。変更の積み重ねは一つひとつは無害に見え、むしろ妥当に感じられるかもしれません。けれども気づけば、そのエージェントは業務の基盤を支える存在になっているのに、頼っているチーム自身がもう完全には理解できなくなっているのです。
エージェントが正式なレビューや監視、ガバナンスを経ないまま、組織の運用の一部として組み込まれてしまうと、リスクの前提が変わります。シャドーエージェントは、実験を非公式な運用に変えてしまいます。
自律の隠れたコスト
技術的負債と同じように、いわば自動化負債（automation debt）は静かに蓄積します。追跡可能性がないままエージェントのロジックが変わるたびに、レビューなしでプロンプトが更新されるたびに増えていきます。要するに、エージェントがデータを使い、アクションを起こし、システムとやり取りしたのに、あとから、なぜそうなったのかを誰も説明できないたびに積み上がるのです。実務上、自動化負債の問題はロジックの脆さというより、リネージュが切れていることにあります。
最初は便利に感じたAIエージェントが、やがて頼られる存在になり、最終的にはミッションクリティカルになります。ところが、いざ問題が起きたとき、リーダーは本来ガバナンスが答えるべき問いに直面します。
- このエージェントは誰が承認したのか？
- 当時どのモデルを使っていたのか？
- どのデータにアクセスしたのか？
- 人は一度でも関与したのか？
監督がなければ、これらの問いは「答え」ではなく「結果」として現れます。技術的負債と同様に、自動化負債は見えない期間が長いほど、ほどくのが難しく、コストも高くなります。
従来のガバナンスが機能しなくなる理由
多くのガバナンスの枠組みは、AI開発の別の時代を前提に作られていました。モデルやシステムは比較的固定的で、デプロイは慎重で、挙動は予測しやすい、という時代です。
しかしAIエージェントは、その前提を崩しました。エージェントは継続的に変化し、複数システムにまたがってアクションを連鎖させます。これは、多くの企業が頼ってきた「一度承認して一度デプロイすれば終わり」というガバナンスモデルには当てはまりません。むしろリスクは、システムが時間の経過とともにどう振る舞うかから生まれます。だからこそ、ガバナンスは実行、監視、継続的な評価にまで拡張される必要があります。
言い換えると、エージェントのガバナンスは、ライフサイクル全体を通じて自律性を観測可能にすることから始まります。
欠けている最小要素は可視性
AIエージェントの統制がうまくいかないとき、組織はルールを増やしがちです。承認を増やし、文書化を増やす。しかし、それでは中核の問題である可視性に届きません。エージェントの判断を追跡できず、中間ステップを検査できず、モデルツールデータの相互作用を時間軸で理解できなければ、自律性が説明責任を上回る速度で進んでしまいます。
航空の世界で、管制塔は飛行機を操縦したり、行き先を決めたりはしません。仕事は状況認識、つまり、空に何があり、何が変化していて、いつ介入が必要かを把握することです。同じ原理がAIエージェントにも当てはまります。
チーム、ツール、ベンダーをまたいでエージェントが増殖するほど、リーダーには「どのエージェントが存在し」「何に接続され」「どのデータに触れ」「時間とともにどう振る舞っているか」を一元的に見渡せる、全社横断の視点が必要になります。
だからこそ、今日のAIガバナンスには、ポリシーの代替ではなく追加要素としての管制塔機能が、ますます求められています。
Human in the Loopは「速度を落とす仕組み」ではなく設計判断
Human in the Loopは、しばしば、システムを遅くするための仕組みであると誤解されます。実際には、組織がどこに説明責任を置くかを決める方法です。
もちろん、すべてのエージェントのアクションに人のレビューが必要なわけではありません。しかし、すべてのエージェントには、明確なエスカレーション経路と、評価ポイントが定義されている必要があります。そして、挙動が逸脱する、リスクが変わる、文脈が変わる、といったときに、人が介入できる能力が要ります。
よく設計されたHuman in the Loopは、自律性を持続可能にします。監督が後付けではなくシステムの機能になり、エージェントが行動するとき、責任の所在をシステム内で追跡できるようにします。
本当の変化は「AIを制限する」から「見えるようにする」へ
エンタープライズAIの未来は、動作中のAIエージェントをより可視化する方向へ進みます。
シャドーAIエージェントが生まれるのは、組織が速く動いている一方で、ガバナンスがAIの実際の開発とデプロイのスピードに追いつけないからです。ですが、管制塔の視点が確立できれば、勢いを保ったまま前に進めます。
ここでDataikuのようなプラットフォームが重要になります。オーケストレーション、追跡可能性、評価、Human in the Loopの制御を、エージェントの構築と実行の方法に直接組み込むことで、ガバナンスは後付けではなく実行の一部になります。これにより、エージェントのロジック、モデルの振る舞い、その後のアクションまでを継続的に見える化でき、自律性をスケールさせながら説明責任を失わずに、エージェントが業務の基盤を支える存在になっていけます。
自動化負債がすでに形成されたことを示す静かな兆候の一つが、依存の非対称性です。つまり、「あるエージェントが止まったら、事業はどれくらいの期間回るのか」をチームが明確に言語化できない状態です。この問いに自信を持って答えられないなら、リスクはすでに理論ではなく運用上の問題へ移っています。
AIがあらゆる場所で作られるなら、ガバナンスもエージェント型AIの土台に織り込まれなければなりません。ガバナンスもまた、あらゆる場所に存在する必要があります。静かに、継続的に、そして信頼のために。