5
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【UiPath IXP × Apps × 会話型Agent】精度の先へ、UiPath IXPと会話型Agentで実現する、一歩進んだドキュメント自動化

5
Last updated at Posted at 2026-02-16

ご参考になれば、ぜひ X(@utanesuke_papa)をフォローしてください。UiPath の技術情報や AI 実装に関する話題を、できるだけ早くお届けしています。

ドキュメント処理の自動化の多くは、「抽出精度を上げる」ことにフォーカスしています。しかし、実際の業務で求められるのは、抽出されたデータが正しいかどうかだけではありません。該当ドキュメントが社内規程に沿っているかどうかの判断も重要です。

本デモの特徴は、請求書からの項目抽出(UiPath IXP)及び抽出結果の検証(UiPath Apps)に加えて、社内規程をコンテキストグラウンディングした会話型AI Agentが、抽出結果を対話形式で検証する点です。

使用製品と役割

今回利用する製品と役割は以下の通りです。

製品 役割
UiPath IXP 請求書PDFからの抽出モデルの構築、抽出項目の定義
UiPath Studio Web(RPA) 請求書PDFからの項目抽出ワークフローの構築、及び抽出結果の保存
UiPath Studio Web(Agent) 会話型Agentの構築
UiPath Studio Web(App) 検証用Apps画面(左:会話型Agent、右:抽出結果のチェック)

構築ステップ

下図は、本デモを構築した際の実装ステップを示しています。

ステップ 1. UiPath IXPで請求書抽出の処理

従来のDocument Understandingと比較すると、IXPの最大の特徴は、
非構造化ドキュメントや複雑なレイアウトの文書でも、柔軟かつ効率的に処理できる点にあります。

なお、IXPの具体的な利用方法については本記事では割愛します。
詳細は以下のページをご参照ください。

モデルの構築操作

IXPの画面より、「非構造化ドキュメントや複雑なドキュメント」をクリック

image.png

「プロジェクトを作成」より、プロジェクト名を指定し、いくつかサンプル帳票をアップロードし、抽出した項目を記入してから、「Generate with Autopilot」をクリックします。

image.png

以下のようにタクソノミーが作成されます。

image.png

一旦「続行」をクリックし、後で編集・追加も可能です。
image.png

タクソノミーに関する記載は以下の通りです。

なお、タクソノミーを作成する際のベストプラクティスは以下の通りです。

モデルの選択

帳票の特徴と合わせて「Model Configuration」を設定します。詳細について、以下のページをご参照ください。

image.png

予測の確認

IXP で Gemini または GPT-4o を抽出モデルとして使用する場合、アノテーション済みのドキュメントは、モデルを直接トレーニングするためではなく検証の目的で使用されます。

パフォーマンスを向上させるには、必ずユース ケースに最適なモデル構成設定に更新し、主に指示を更新することによってタクソノミーを反復処理してください

image.png

抽出したデータが正しいかチェックして、間違えていたら、そのまま該当フィールドを選択して、タクソノミーを編集します。

image.png

image.png

予測確認の詳細について、以下のをご参照ください。

モデルのパブリッシュ

画面左上の「パブリッシュ」ボタンをクリックします。

image.png

これで外部(RPA、Agent)から該当IXPのモデルを利用できるようになります。

ステップ2. RPA構築 (Studio Web)

Studio Webでプロジェクトを新規作成し、「ドキュメントデータを抽出」を配置します。
Document Understanding プロジェクト欄を開き、パブリッシュ済みのモデル(先ほど作成した「Invoice_Junli_Japan」)を選択します。

image.png

抽出後は、抽出結果をテキストとして書き出し、後続の会話型Agentで活用できるようストレージバケットに保存します。

また、抽出結果については人による検証を実施するため、検証用の成果物を作成するとともに、アプリタスクを作成します。
image.png

なお、上記Appsの「InvoiceCheckAssistant」の作成方法については、「ステップ4:Apps画面作成」にて詳しく解説します。

ステップ3. 会話型Agent構築

上記のプロジェクトに、「Agent」を作ります。

image.png

今回は会話型Agentを作るので、真ん中の「会話型」を選択し、どんなエージェントを作りたいかを入力して(例1)、「エージェントを生成」をクリックします。

image.png

例1:

あなたは業務向け会話型AI Agentを設計する専門AIです。

ユーザ入力した伝票番号を利用して、外部保存した請求書情報を受け取り、ユーザーと会話しながら
請求先・金額・明細を確認し、
会社ルールに基づいて請求書が妥当かどうかを判断する
「請求書チェックAI Agent」を生成してください。

このAgentは以下を満たしてください:
- 請求書内容を理解し、OK / 要確認 / NG を判定できる
- 判断理由を請求書の具体項目に基づいて説明できる
- ユーザーの「なぜ?」「どう対応すれば?」という質問に対話で答えられる
- 会社ルールは外部から与えられ、それを唯一の判断根拠とする
- 推測はせず、不明点は要確認とする

会話型Agentとして自然に振る舞う設計を生成してください。

後は、Autopilotの提案を確認しながら進みます。
image.png

コンテストグランディングの追加

該当Agentでは、社内ルールなどの資料を参考しますので、参考用のコンテストグランディングを追加します。

image.png

まだ社内ルールのコンテキストがないため、「新規作成」をクリックします。

image.png

image.png

インデックス作成についての詳細は以下のページをご参照ください。

抽出した結果を取得するツール(RPA)の作成

会話型Agentではユーザーからファイルをアップロードすることも可能ですが、今回は抽出結果のチェックを目的としているため、ストレージバケットに保存した抽出データを取得します。

そのため、ストレージバケットからテキストデータを取得するRPAプロセスを作成します。

image.png

指定したストレージバケットからInvoiceNumber(入力引数)で命名されたテキストファイルを取得します。取得した内容をInvoiceDetailInfo(出力引数)に保存します。

image.png

RPA作成できたら、Agentにツールとして追加します。

image.png

一旦テストするために、手動でInvoiceNumberが5068の請求書データをストレージバケットにアップロードしました。

image.png

テスト

「クラウドでデバッグ」をクリックして実行します。
下記の画面から、RPAツールおよび社内ルールのインデックスが使用されていることを確認できます。

image.png

パブリッシュ

後ほどApps画面に会話型Agentを組み込むため、上記で作成した会話型Agentをデプロイします。

image.png

デプロイが完了すると、Agents画面から該当の会話型Agentとのチャットを開始できます。

image.png

ステップ4. Apps画面作成

最後に、利用者に抽出結果の確認及び会話型Agentによるチェックをするため、Apps画面を作ります。該当プロジェクトに、「Escalation app」を作成します。

image.png

Apps画面にて、以下のように、左側がIFrame、右側がValidation Control、下の欄は二つのボタンです。

image.png

AppsのAction定義は以下の通りです。

image.png

検証コントロールの設定

検証コントロールのプロパティに移動し、[ソース] の入力で、ContentValidationData 型として定義したアクションの入力を選択します。

image.png

検証コントロールで行った選択や変更の反映するには、関連ワークフローの作成が必要です。

image.png

作成の詳細について、下記の公式ページを参照してください。

会話型Agentを組み込む

まず、Apps画面に会話型Agentを組み込むために、デプロイ済みの会話型AgentのAgent IDが必要です。

AppsのIFrameを設定するため、以下のように設定を行います。

https://cloud.uipath.com/<organization>/<tenant>/autopilotforeveryone_/conversational-agents/?agentId=<agent_id>&mode=<mode>

image.png

会話型AgentのApps組み込みについて、以下のページをご参照ください。

承認と拒否ボタンの実装

利用者がボタンをクリックした際の動作を定義するため、ワークフローを作成します。

image.png

例えば、承認ボタンをクリックしたら、Submitのアクションが送信されます。

image.png

以上で、Appsでの実装が完了しました。

動作確認

ここまでで必要な実装が完了しましたので、ステップ2で構築したRPAを実行し、動作確認を行います。

image.png

作成したAppsアクションを確認します。

image.png

まず RPAツールを利用して、請求書の抽出結果を取得します。

image.png

次は、会社ルールのインデックスに基づいて請求書をチェックします。

image.png

最後に、生成AIがチェックをHTML形式で表示します。

image.png

全体動作の動きは以下の通りです:
Adobe Express - 請求書チェック_v2.gif

最後に

これまでのドキュメント処理は「いかに正確に文字を読み取るか」という、いわば「情報のデータ化」がゴールでした。しかし、今回ご紹介したUiPath IXP × 会話型AI Agent の組み合わせにより、その一歩先である 「情報の妥当性判断」までを自動化のスコープに含めることが可能になります。

複雑な社内規定を人間が都度確認する手間を省き、AIが「規定に沿っているか」を事前チェックした上で人間が最終判断を下す。この「AIと人間の協働」こそが、これからの業務自動化のスタンダードになっていくはずです。

ぜひ、皆さんの現場にある「判断が伴うドキュメント業務」にも、このAgentの力を試してみてください!

5
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
5
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?