AIエージェントのPoCで回答精度を確認できても、そのまま本番運用へ進めるとは限りません。実運用では、参照できるデータ、実行できる操作、人へ移管する条件、稼働後の評価方法まで仕様に含める必要があります。この記事では、企業向けAIエージェントを導入する前に確認したい項目を、実装と運用の観点から整理します。
想定する読者
この記事は、カスタマーサポートや社内ヘルプデスクでAIエージェントを検討している担当者、PoCの評価項目を設計するプロジェクトメンバー、AIと有人対応を同じ業務フローに接続する開発者を想定しています。特定のモデルやクラウドに依存する実装方法ではなく、要件定義の段階で決めるべき内容を扱います。
先に結論
本番運用へ進む前に必要なのは、AIに任せる業務の境界を定めること、人への引き継ぎを案件の状態遷移として設計すること、指標の変化と改善対象を対応させることです。これらが未定義のままでは、PoCで高い回答精度が出ても、権限、責任、例外処理の問題が本番直前に残ります。
1 業務境界を仕様として記述する
AIエージェントの要件を「FAQに回答する」「注文を処理する」のような機能名だけで書くと、許可範囲を判断できません。少なくとも対象業務、参照データ、許可操作、要承認操作、停止条件を分けて記述します。
記述例 配送状況の問い合わせ
対象業務 注文番号を受け取り、配送状況を案内する
参照データ 注文情報、配送会社の追跡情報、配送FAQ
許可操作 状況照会、追跡URLの提示
要承認操作 配送先変更、再発送、返金
停止条件 本人確認ができない、注文が見つからない、例外ステータスが返る
この形で書くと、回答生成のテストと操作権限のテストを分離できます。誤った文章を返した場合はナレッジやプロンプト、モデルを確認し、許可されていない処理を実行した場合は権限やワークフローを確認するという切り分けも可能になります。
2 有人引き継ぎを状態遷移として扱う
AIから人への転送を、会話画面を切り替えるだけの機能として実装すると、担当者が調査を最初からやり直すことがあります。引き継ぎ時には、顧客の目的、AIの判断、参照したデータ、実行済みの操作、未解決の事項を案件に残します。
状態遷移で確認すること
移管前 AIが処理中であること、重複実行を防ぐこと
移管時 担当キュー、優先度、引き継ぎ理由を確定すること
移管後 人を案件の所有者とし、AIの自動実行を停止すること
完了時 解決内容と修正点を次回の改善対象へ戻すこと
特に注意したいのは、AIと担当者が同時に顧客へ回答することや、同じ処理を二重に実行することです。案件の所有者と実行権限を状態ごとに一つに絞ると、こうした競合を避けやすくなります。
3 指標の分母と改善対象を決める
運用後の評価では、回答数や利用数だけでなく、結果まで追います。解決率はAIが対応を開始した件数を分母とし、そのうち顧客の目的を達成して終了した件数を分子にします。有人転送率はAIが対応を開始した件数のうち、人へ移管した件数の割合です。処理完了率は、操作を伴う依頼のうち、定義した完了状態まで到達した割合として計算します。
指標と主な確認先
解決率が低い 意図判定、ナレッジ、回答内容、対象業務の範囲
有人転送率が高い 転送条件、ナレッジ不足、権限不足、例外処理
処理完了率が低い API連携、入力検証、権限、外部システムの応答
修正回答が多い 情報の鮮度、検索結果、プロンプト、レビュー手順
指標を見る際は、対象期間と分母を固定します。有人転送率が下がっても、自己解決が増えたのか、転送条件が動いていないのかでは意味が逆になります。数値だけで結論を出さず、失敗した会話と処理履歴を確認できるようにします。
4 PoCのテストケースを本番の失敗条件から作る
正常な質問に正しく答えられるかだけでなく、本人確認に失敗した場合、参照先からデータが返らない場合、複数の依頼が一文に含まれる場合、禁止された操作を求められた場合、会話の途中で人へ移管する場合をテストします。
各ケースには、AIが回答を続ける、追加情報を求める、処理を停止する、人へ引き継ぐという期待動作を付けます。これにより、単純な正答率では見えない運用上の失敗を、PoCの段階で確認できます。
5 ログを残す目的を先に決める
会話ログだけでは、なぜその回答や操作になったかを追えない場合があります。参照したナレッジ、外部データの応答、選択したツール、実行結果、有人移管の理由を、権限と保存期間を決めた上で記録します。
ログは障害調査だけでなく、評価指標の集計、ナレッジの修正、転送条件の見直しにも使います。何を改善するために記録するのかが決まっていれば、必要以上にデータを残すことも避けやすくなります。
Deloitte Digital Day 2026で確認した実装上の関心
この整理の背景には、香港で開催されたDeloitte Digital Day 2026での議論があります。会場では「The Hybrid Workforce: Human, Digital, and Physical AI」をテーマに、人とAIの役割分担、AIエージェント、フィジカルAIの実装が扱われました。
Udeskのブースでは、共通のAIプラットフォーム、AIデジタルワーカー、Agentic BPOを複数の業務場面へ展開する「1＋2＋N」構成を紹介しました。会場での対話でも、モデルの性能だけでなく、既存業務との接続、有人対応、導入後の評価が繰り返し論点になりました。
まとめ
企業向けAIエージェントの導入では、業務境界、有人引き継ぎ、運用評価を、モデル選定と同じ段階で設計する必要があります。さらに、失敗条件からテストケースを作り、改善に必要なログを定義しておくと、PoCと本番運用の差を小さくできます。
Udeskは、AIエージェントと人が同じ業務の中で役割を分担し、問い合わせの受付から処理、引き継ぎ、分析までを継続して改善できる仕組みを提供しています。
