【UiPath】Communications Miningのモデルトレーニング方法

はじめに

アドベントカレンダー8日目の記事です。

Communications Miningについて書こうと思います。

Communications Miningは、AIの1つである自然言語処理（NLP）を用いたUiPathの製品で、メールやチケットなど自然言語で書かれたコミュニケーションデータからビジネス上の洞察を発見するものです。

製品の概要や検証してみた感想等については、UiPath Friends Festival 2023で喋っているので、Youtubeのアーカイブをご覧ください。

元々はRe:inferという製品でしたが、2022年にUiPathが買収し、UiPath製品群に取り入れたものになります。
グローバルでは、バージョン2022.10よりCommunications Miningとしてリリースされました。一方で日本向けのリリースに関するアナウンスはありませんでしたが、2023年11月15日に日本向けにリリースされたことが正式にアナウンスされました。

Communications Miningの製品自体の日本語翻訳は未対応です。ドキュメント、アカデミーも日本語翻訳はしばらく待つ必要があります。また、使用可能なリージョンはEUのみとなります。
日本向けのリリースのアナウンスですが、Communications MiningのNLPモデルに日本語をインプットできるという意味みたいです。そもそも多言語対応モデルのためアナウンス前から日本語インプットは可能でしたが…

今回の記事ではCommunications Miningの使い始めの部分（MLモデルのトレーニング）にフォーカスします。

つかうもの

※クラウド環境は2023年12月時点のもの
Automation Cloud(Communications Mining) Enterprise版

ステップ1. トレーニングデータ投入

まずはCommunications Miningにてプロジェクトを作成します。デフォルトでプロジェクト（DefaultProject）が1つ作成されていますが、このプロジェクトはAutomation Cloudのすべてのユーザと共有されます。Communications Miningで使用するデータはメールなど業務上の機密を含んでいることが多いと思うので、DefaultProjectは使用せず、業務毎に新規プロジェクトを作成することをお勧めします。

プロジェクトは以下の通り作成します。 導線が非常に分かりにくいので改善お願いします！！
Administrationメニュー（歯車のアイコン） > Manage Accessタブ > All projectsをクリックし、「+New」ボタン

次にデータセット（Dataset）を作成します。データセット1つにつき、MLモデルが1つ作成されます。日本語認識の場合は「Model family」は「Multilingual」を選択します。

さらに次はソース（Source）を作成します。ソースはMLモデルに投入するトレーニングデータと同義です。1つのデータセットに複数のソースを関連付け（データ投入）することが可能なので、ラベル別のトレーニングデータ単位でソースを作成しても構いません。日本語認識の場合は「Language」は「Multilingual」を選択します。

最後にソース対して、トレーニングデータをアップロードします。データはCSVファイルとなります（API接続でデータを取り込むことも可能です）。必要な列は以下の通りです。

必須項目

ID：　一意になるキー項目

タイムスタンプ：　メールだと受信日時などに相当するもの

メッセージ：　メールだと本文に相当するもの

任意項目

（メールの場合）件名

（メールの場合）送信元

（メールの場合）宛先

など

CSVファイルを指定すると自動的にフォーマットを読み取り、列のマッピングを行います。

CSVのフォーマットが正しくないとエラーが出ます。特にExcelでCSVファイルを修正した場合、最後1行が空列として認識されてしまうので改行を削除しないとダメです。

ステップ2. ラベルとエンティティの定義

Settings > Labels & Entitiesからラベルとエンティティを定義します。ラベルは階層化することも可能です。

トレーニング済みのものをベースに作成することもできます。期間・コストの低減が期待できますが、おそらく日本語でトレーニングしたものではないと思われるため、狙い通りの認識精度を出すのは難しいかもしれません。日本語認識をする場合は「None (train from scratch)」を選択するのがベターかと思います。

ステップ3. トレーニング

本記事内のスクリーンショットに映るメールは、すべて生成AIによって作成したトレーニングデータです。会社名など実在するものではありません。

トレーニング前のMLモデルは未だ予測をしませんので、投入したトレーニングデータに対して、手動でラベリングとエンティティ抽出を行ってあげます。

ラベルは＋マークをクリックし、適切なラベルを与えてあげます。
エンティティは文字を範囲選択し、適切なエンティティを割り当てます。

いくつかのトレーニングデータでラベリングを行っていくと、MLモデルが自動的に学習をはじめます。画面右上の「Updating」がクルクル回っているときは学習中という意味です。

定義したラベル・エンティティにも寄りますが、だいたい30件くらいをラベリングすると、今度はCommunications Miningが自動的にラベルとエンティティの予想を始めてくれます。ただし、この時点の精度は期待できません。見当違いの予測をすることも多いので、精度が上がるまで手作業で修正していきます。そのとき投入したデータが足りなくなったら、適宜追加データを投入します。
個人的な印象ですが、日本語のエンティティの場合、なかなか認識精度が上がらない気がします。下のスクショだと会社名だけトレーニングデータの量は多いですが、F1スコアが低い状態になっています。

Validationタブに現在のラベルとエンティティのスコアと精度を上げるためのアドバイスが出るので、それに従いながらスコアを上げていき、ある程度のレベルに達したら一旦のトレーニングは終了です。

モデルは随時学習されるので、バージョンも次々と上がっていきます。現在のバージョンはModelsタブから確認できます。ピンを立てることで、テスト中・本番稼働中のバージョンを区別することができます。

おわりに

いかがでしょうか。一般的にモデルトレーニングは難しそうという印象がありますが、Communications MiningではAIに関する専門知識がなくてもトレーニングできるように工夫されています。
モデルトレーニングの流れは以上ですが、このような業務特化したAIを使った製品は、1度トレーニングしたら終わりではなく、定期的にスコアを確認し下がっていれば再トレーニングするといった運用が必要になります。
また、Communications Miningで使用されているNLPモデルは、日本語認識できるようになってはいますが、やはり日本語の部分だけ苦戦しました。この辺りも日本語トレーニング済みのラベル・エンティティが出てくることで解消していくのでしょうか。期待したいです。

次回以降は、トレーニング済みのモデルを使ってUiPath Robotと連携したオートメーションについて書こうと思います。