本記事は【Qiita ServiceNow アドベントカレンダー2025】の23日目です。
はじめに
初めまして。
富士通のServiceNow事業部に配属された、新卒1年目の片桐徹人です。
今回は、ServiceNowの新機能であるAI Agentの制御方法を考えてみることにしました。
というのも最近、AI Agentを実装する機会が何回かあったのですが、そこでAIのコントロールの難しさを体感しました。ステップに従わない時もあれば、勝手に内部データを公開してしまう時もありました。
そんな時、AIを監視するAIを作成する手法があると聞きかじり、アドベントカレンダーやLTの機会にその実装を試してみようと思い当たった次第です。
本記事は公式docsや個人の経験を元に執筆しています。
もし技術的な訂正や補足があれば、ぜひ遠慮なくお知らせください。
監視AI Agentのコンセプト
コンセプトとしては単純で、各AI Agentの出力に対して、必要に応じて監視AI Agentがその内容を検閲し、評価・制御するといったアーキテクチャを考えました。
利点や既存機能との差別化を考えてみる。
ServiceNowにおけるAI Agentのコントロール方法にはいくつかの手法や機能が既に存在しています。例えば、プロンプトエンジニアリングによる制御はその確固たる例でしょう。ServiceNowのベストプラクティスに従った実装を行うだけで、AI Agentの誤作動を減らすことができます。
またアクセス権周りについても、AIの権限を実行者のロールと同じにしたり、AI専用のロールを与えることで、柔軟なアクセス制御が可能です。
他にも、不快やコンテンツやプロンプトインジェクションを検知し、ログ・ブロックを可能にするNow Assist Guardianと呼ばれる機能もあります。
これらの手法や機能は、出力の検閲を行うことができる一方で、検閲に対するアクションを行う機能が弱いと感じました。その点、監視AI Agentは構築の柔軟性と幅広いツールを用いることで、検閲に対するアクションを柔軟に定義することが可能であり、その点はこれらの手法・機能との差別化ポイントと言えるでしょう。
様々な種類の監視AI Agentを考えてみる
監視AI Agentと一言でいっても、その役割はAI Agentごとに異なってくるでしょう。そこで、まずどのような役割の監視AI Agentが実用的かを考えてみることにしました。ここでは、下記にその具体例を3つ挙げます。
| AI Agent名 | 詳細 |
|---|---|
| 妥当性評価AI | AIの出力が優先度やSLAといった観点からみて、妥当かどうかや根拠の有無を判断することで、AIの出力をブラックボックス化させないための監視AI Agent |
| アクセス権評価AI | AIの出力内容に対して、利用者がその情報を閲覧していいかを利用者のアクセス権をもとに評価・制御する監視AI Agent |
| トーン統制AI | 利用者の属性に応じて会話のトーンや調子を整えてあげる監視 AI Agent |
AI Agentの設定の柔軟さを考えると、もっとたくさんのユースケースが出てくるかなと感じます。
構築してみる
今回は、利用者がServiceNowに登録されているユーザ情報を仮想エージェントを通じて確認するという簡単なシナリオを想定し、AI AgentがPII（今回は電話番号）を出力しないように監視AI Agentを構築してみます。
構築方法は至って単純で、ユーザ情報AI Agentと監視AI Agentの2つのAgentを作成し、その2つのAI AgentをAgentic Workflowで紐付けました。
ユーザ情報AI Agentはログインユーザーのユーザレコードを特定し、テーブル項目をもとにユーザ情報を出力します。監視AI Agentに関しては、ユーザ情報AI Agentの出力の直前に、直接検閲ができればよかったのですが、実装が難しかったので、ユーザ情報AI Agentの出力を別テーブルにログとして格納したあとに、監視AI Agentがその中身を参照し検閲する形で実装しました。
実装結果
 |
| ←側がデフォルト、→側が監視AI Agent付 |
上記の画像の通り、ユーザ情報AI Agentをカスタマイズせずとも、PIIとした電話番号の出力を監視AI Agentがブロックしています。
問題
しかし、ここで一つ明確な問題が生じました。それはレスポンスが遅いという事です。
デフォルトの出力時間に15秒程度なのに対し、監視 AI Agent付の方は30秒程度もかかってしまいました。UXを考えると、レスポンスが遅いというのは致命的な課題ではあるので、監視のタイミングや実装の方法を工夫する必要がありそうです。
まとめ
やはりAIのセキュア構築は難しいと感じる体験でした。AI周りの機能に関しては今後も確実にアップデートがあるので、今後はこういったセキュリティ関係の機能のアップデートにも期待です。
最後に
今回はアドベントカレンダーとして「やってみたい！」と感じたことを実装し、記事にしてみました。今後はこういった検証系の記事もたくさん出していこうかなと思います。
またコミュニティイベントでは、このタイトルをテーマにServiceNowコミュニティで初めてのLTに登壇させていただきました。
簡単な記事となってしまいましたが、ここまで見ていただきありがとうございました。
最後まで読んでいただきありがとうございました。
もし個別に連絡を取りたい方がいれば、下記のURLからご連絡下さい。
LinkedIn：https://linkedin.com/in/tetsuto-katagiri
X ：https://x.com/k_tetsuto