私たちは皆、AIの失敗に関する見出し記事を目にします。それらは、笑い話にできる事故（偽造書評など）から、企業データベースの消失や自動運転車の致命的な事故のような大惨事にまで及びます。

それぞれの見出し記事の背景には、ガバナンスの失敗が挙げられます。企業がAIを導入するために競争するにつれて、データの正確性、プライバシー、バイアス、知的財産、規制遵守などのデータガバナンスのリスクを悪化させます。AIモデルとエージェントは、ブラックボックスロジック、有害な出力、誤った判断、損害を与える行動、さらには破壊的な意図といった新たなリスクも追加します。これらのリスクを管理できない組織は、しばしば大失敗を経験します。

これを避けるために、組織は従来のガバナンスプログラムを拡張して、AIモデルとエージェントに対処する必要があります。このブログは、3部作の2番目であり、これを達成するためのポリシー、ルール、および標準を推奨しています。これは、主要なリスクとそれらを軽減するための技術的制御を定義したシリーズの最初のブログに基づいています。3番目で最後のブログでは、データ/AIチームがAIガバナンスツールとプラットフォームを評価するための基準について説明します。

エージェンティックAIとは？

まず、エージェンティックAIとエージェントを定義しましょう。エージェンティックAIは、動的な環境で特定の目標と成果を達成するために、自律的に意思決定を行い、行動を起こす洗練された形式のAIです。エージェントは、単純な取引から、スマートな行動と価値のある出力のための複雑な意思決定ツリーのナビゲーションまで、タスクを実行するように設計されたAI対応アプリケーションです。

エージェントの環境と周囲の文脈に対する「認識」により、人間のように問題を解決し、タスクを実行しながら、大規模に、かつ限られた監視下で自律的に動作することができます。AIエージェントは、時間をかけて学習し、反復することができます。これらは、単純なルールベースのポリシー駆動型ロボティックプロセスオートメーション（RPA）を超えた、洞察に基づく行動の次のステップを表します。

うまく統治されれば、エージェンティックAIは大きなイノベーションの機会を生み出します。うまく統治されなければ、ビジネスに損害を与える可能性があります。

ガバナンスプログラムの登場

ガバナンスプログラムは、ビジネスプロセスを導きながらリスクを制御するために、ポリシー、ルール、および標準を編成します。ポリシーはプログラムの全体的な目標と原則を定義し、ルールはそれらをどのように実施するかを定義し、標準は技術的な構造を提供します。ガバナンスプログラムは、これらの要素を包括的な方法で編成し、利害関係者に責任を負わせ、新規または変更された要件に柔軟に適応する必要があります。

新しいAIイニシアチブをサポートするために、最新のガバナンスプログラムは、データの従来のドメインと、AIモデルおよびエージェントの新しいドメインの両方に対処する必要があります。これらの新しいドメインは、ガバナンスの不確実性と複雑さを増大させます。その生成AIモデルは異なる民族を公平に扱っていますか？その応答は、部門、企業、顧客グループ全体で異なるエージェントにどのように影響しますか？など。これらすべてに対処するポリシーを検討し、次にモデルとエージェントのルールと標準について詳しく見ていきましょう。

ガバナンスポリシー

データ

データは真実を誤って表現したり、プライバシーを侵害したり、偏見を示したり、知的財産を侵害したり、規制遵守を妨げたりする可能性があります。ガバナンスポリシーは、データスチュワードシップを義務付け、データアクセスと使用の認可を確保し、データ関連活動を監査および文書化することで、これらのリスクを軽減する必要があります。

スチュワードシップ：ガバナンスプログラムは、データスチュワードシップから始まります。このポリシーは、専任のデータスチュワードからデータエンジニアやビジネスマネージャーまで、人間の利害関係者をデータライフサイクルを監督するために割り当てます。彼らは、AIの使用のためにデータセットを検査、承認、キュレーションするルールを強制し、次に正確性やバイアスの問題を修正します。標準は、ファイル形式や修正プロセスを定義するなど、技術的な詳細を助けます。

権限管理：ガバナンスプログラムには、データ準備、アクセス、消費を制御するための権限ポリシーも必要です。このポリシーは、相互作用できるユーザー、アプリケーション、データセットのタイプを規定します。ルールは、許容される個人、アプリケーションタスク、データオブジェクト、そしてその上にレイヤーされるモデルとエージェントをさらに明確にします。一方、標準は、特定の有効化APIとツールを要求する場合があります。

監査と文書化：データガバナンスは、ポリシー、規制、法律の遵守を証明するための監査と文書化なしには不完全です。ガバナンスチームは、ヨーロッパの一般データ保護規則（GDPR）、米国の医療保険の携行と説明責任に関する法律（HIPAA）、および機密データの取り扱いを保護するその他多数の法律の精神と条項をどのように満たしているかを十分に詳細に記述する必要があります。

モデル

モデルは不透明で分かりにくいロジックを持っていたり、人間を不公平に扱う有害な出力を生成したりする可能性があります。これらのリスクを軽減するには、透明性と説明可能性、責任ある出力、および生産活動の継続的な監視に関するポリシーが必要です。

透明性と説明性：ポリシーとして、利害関係者はモデルの入力、ロジック、および出力を理解し、信頼する必要があります。対応するルールは、入力が出力にどのように影響するかを説明する詳細な文書化を要求する場合があります。標準は、SHAP（英語）やLIME（英語）などの手法を使用してデータサンプルと特徴量のモデル出力への貢献を定量化することを義務付けることで、このルールをサポートできます。標準はまた、モデルの文書化とレジストリにモデルのバージョン、監査ログ、および系統を含めることを指定する場合があります。

責任ある出力：ポリシーとして、企業は、評判や顧客関係に損害を与える有害、偏見のある、または不適切なモデル出力を防ぐ必要があります。これには、たとえば、すべての生成AIワークフローに、許容できない出力をブロックするための評価モデル、フィルター、およびキルスイッチを含めるというルールが必要です。さまざまな標準がここで役立ちます。それらは、特定の生成AI応答のレッドラインを超えるキーワードやML感情指標、および生産モデルの完全な削除をトリガーする有害性しきい値または信頼度スコアを定義する場合があります。

継続的な監視：継続的な監視のポリシーは、データおよびAIチームが、本稼働中のモデル活動を監視、フラグ立て、検査することで警戒を維持することを保証します。彼らは、たとえば、有害な出力にどのような入力やロジックが寄与したかを説明するための定期的な監査のルールによって、このポリシーを強制することができます。また、標準は、そのような監査の頻度、トリガー、形式、および特定の利害関係者に対する是正措置を定義します。

エージェント

エージェントは、誤ったまたは不適切な結論を導き出したり、損害を与えるような行動をとったり、さらには人間の意図を妨害(英語）しようとしたりする可能性があります。これらのリスクを軽減するには、安全な意思決定、制御可能な行動、および許容される振る舞いに関するポリシーが必要です。

安全な意思決定：最新のガバナンスプログラムには、エージェントの意思決定が定義されたビジネス、倫理、および法的境界内にあることを義務付けるポリシーを含める必要があります。サポートするルールには、エージェントが安全でない意思決定を行うのを停止するためのアラートとオーバーライドを含める必要があります。たとえば、Eコマースのエージェントは、顧客の予算を超える製品や、疑わしい業者からの製品を購入することを決定してはなりません。プログラムの標準は、支出上限、承認された業者リスト、エスカレーション基準などでそのようなプロセスをコード化できます。

説明責任のある行動：意思決定の後には行動が続きます。ポリシーとして、エージェントの行動は追跡可能、制御可能、および元に戻せるものでなければなりません。これには、金銭取引、顧客推奨、第三者への通信などの影響の大きい行動の人間によるレビューと承認のルールが必要になる場合があります。また、エージェントが行動を起こす前に評価モデルが意思決定を再確認するルールも必要になる場合があります。一方、標準は、各エージェントの行動を元のモデルの出力と意思決定ロジックにマッピングする方法を定義します。

許容される振る舞い：OpenAI o1のような生成AIモデルは、その行動を隠したり、ユーザーを欺いたり、その他人間の意図を妨害したりする可能性があります。このリスクを軽減するために、企業は破壊的なモデルの振る舞いを予測し、特定するためのポリシーを必要とします。彼らは、すべての記録されたエージェントの意思決定と行動に敵対的テストを適用するルールによってポリシーを強制できます。そして、サポートするメタデータと人間の介入手順を標準化できます。

リスクのあるビジネス

これほど多くの問題が発生する可能性があることを考えると、グローバルリスク諮問委員会が最近、AIを組織にとって最大の評判リスクの第1位に挙げたことは驚くべきことではありません。ガバナンスチームは、これらのポリシー、ルール、および標準を日常のワークフローに組み込むことで、AIのリスクを最小限に抑え、チームが説明責任を念頭に置いてエージェントAIを設計および運用するようにすることができます。

ガバナンスを一度限りのチェックリストではなく、継続的かつ反復的な規律として扱うことで、イノベーションを加速させながらリスクを抑制できます。このバランスを取る組織は、信頼、コンプライアンス、ビジネスの整合性を犠牲にすることなく、エージェントAIの可能性を最大限に引き出すことができます。本シリーズの3番目で最後のブログでは、組織がこれを可能にするツールとプラットフォームを評価するために使用できる基準について探ります。

AIエージェントのガイドを入手

分析、モデル、エージェントが一体となった統合プラットフォームに企業が投資すべき理由をご紹介します。さらに、AIエージェントの監視と管理を単一のダッシュボードで行い、制御性と可視性を維持する方法についても解説します。
→ 詳しくはこちら

原文：The Tricky Discipline of Governing Agentic AI: Policies, Rules, and Standards