文章を回答する生成AIと、メール送信、商品購入、ファイル削除、システム変更まで実行するAIエージェントでは、失敗の影響が違います。
回答が間違っていれば人が無視できます。しかし、間違った操作が自動実行されると、情報漏えい、誤発注、データ消失など現実の被害につながります。便利さを保ちながら「任せてよい範囲」を設計しましょう。
AIエージェントで変わるリスク
AIエージェントは、目標に応じて計画し、ツールや外部システムを使い、複数の処理を進める仕組みを指すことがあります。ただし製品ごとに自律性や機能は異なり、統一された一種類の仕組みではありません。
確認すべきなのは名称より、次の事実です。
- 何のデータを読めるか
- どのシステムを操作できるか
- 何を自動実行するか
- 誰の権限で動くか
- 実行を止め、元に戻せるか
DSS ver.2.0ではどう位置付けられているか
DSS ver.2.0のDX推進スキル標準は、共通スキルの学習項目例にAIエージェントやHITL(Human-in-the-Loop)を挙げています。また、AI実装・運用、AIガバナンス、セキュリティ、データ品質を横断的に扱います。
HITLは、人が処理や判断のループへ関与する考え方です。ただし「どこかで人が見る」だけでは十分とは限りません。人が理解できる情報、判断する時間、拒否できる権限を持つ必要があります。
自律性を段階で設計する
| 段階 | AIに任せる範囲 | 人の関与 |
|---|---|---|
| 0:提案 | 選択肢を示す | 人が判断・実行 |
| 1:下書き | メールや操作案を作る | 人が確認して実行 |
| 2:承認付き実行 | 指定操作を準備する | 実行直前に承認 |
| 3:限定自動実行 | 上限内の定型処理 | 例外時に停止・確認 |
最初から完全自動化を狙わず、取り消せる操作から段階を上げます。送信、購入、削除、権限変更など影響の大きい操作には、独立した承認と上限を置きます。
実務で起こりやすい5つの事例
1. 顧客への返信を自動送信
AIが契約上約束できない補償を書きました。まず草案だけを作らせ、重要顧客、苦情、返金、法的表現を含む場合は担当者承認へ回します。
2. 在庫を見て自動発注
異常データを需要急増と判断し、大量注文しました。1回・1日当たりの金額と数量に上限を置き、急変時は停止して人へ引き継ぎます。
3. 不要ファイルを自動削除
関連文書まで削除し、復元できませんでした。最初は削除候補の提示に限定し、隔離期間、バックアップ、復元テストを用意します。
4. 本番環境へ自動デプロイ
テスト成功を誤認し、障害が発生しました。開発・検証・本番の権限を分け、重要変更は人の承認、段階配信、自動ロールバックを組み合わせます。
5. Webの指示を読んで秘密を送信
閲覧ページに埋め込まれた不正な指示を実行しました。Web閲覧と社内システム操作を同じエージェントへ広く許可せず、ツール単位で送信先とデータ範囲を制限します。
自律性を段階的に上げる
いきなり全自動にせず、次の順で検証します。
- 提案:実行せず、候補だけ示す
- 下書き:人が内容を修正・承認する
- 限定実行:低リスク操作を上限付きで実行する
- 条件付き自動化:定義済み条件内で実行し、例外は人へ渡す
各段階で、成功率だけでなく、見逃した例外、誤操作の影響、確認者の負担、停止・復旧時間を測ります。
AISIの評価観点から学べること
AISIの「AIセーフティに関する評価観点ガイド第1.20版」は、AIエージェントの普及を踏まえ、「観測と制御」「自律的な挙動」「外部環境との相互作用」を追加しています。これは法令や一律の認証基準ではありませんが、自社の評価項目を考える参考になります。
今日からできるチェックリスト
- 読み取り・作成・送信・変更・削除の権限を分けた
- AI専用の最小権限アカウントを使っている
- 金額、件数、送信先、時間帯に上限がある
- 重要操作を人が理解し、拒否できる
- 全操作のログと緊急停止手段がある
- 誤操作から復元する手順をテストした
まとめ
AIエージェントの安全性は、賢さだけでなく権限設計で決まります。まず提案・下書きから始め、最小権限、上限、人の承認、ログ、停止・復元を確認しながら自律性を上げてください。「できること」と「任せてよいこと」を分けるのが第一歩です。