はじめに
- 本記事では、AI Center におけるトレーニング結果（スコア）の見方を紹介します。
- 記事の内容は、個人の見解または確認結果であり、UiPath の公式見解ではありません。
- 製品仕様や参考画像は 2024年7月26日時点のもので構成しています。
トレーニング結果はどこでみるの？
AI Center でモデルの学習（トレーニング）は『パイプライン』画面でおこないます。
トレーニングの結果はパイプラインの処理単位の詳細画面で確認できます。
確認できるもの：
- トレーニング処理のログ
- 評価データ
前者は「パイプライン レポートをダウンロード」ボタンを押下して取得します。
後者は出力セクションの「artifacts」 ＞ 「eval_metrics」の順にクリックし、次の評価データを取得します。
- evaluation_{ドキュメント種類}.xlsx
- evaluation_F1_{ドキュメント種類}.txt
- evaluation_scores_{ドキュメント種類}.txt
（評価エクセルの取得手順例）
evaluation_F1_{ドキュメント種類}.txt
フィールド毎のF1スコアを含みます。
F1スコアは次の様な計算式で算出されるものです↓↓
-
精度（accuracy）：全データのうちの正解率。偏ったデータの場合信頼性低い
（TP＋TN）／（TP＋TN＋FP＋FN） -
適合率（precision）：Positiveと予測されたものがどれだけ実際にPositiveだったか
TP／（TP＋FP） -
再現率（recall）：本当にPositiveだったもののうち、Positiveと予測されたものの割合
TP／（TP＋FN） -
F-Score（fscore）：適合率と再現率の調和平均。精度よりもいい基準といわれる
2＊（適合率＊再現率）／（適合率＋再現率）
evaluation_scores_{ドキュメント種類}.txt
先に説明したF1スコア（fscore）と精度（accuracy）を含みます。
筆者がEXCELで実際の全体精度を確認した経験則からは、F1スコアの方が実際の傾向と相関関係があります。
evaluation_{ドキュメント種類}.xlsx
Summaryシート
- 上段（赤枠）の「Accuracy（正確性）」スコアを確認する。 ※Batch列の最初のレコード（All 〇〇 ）が全体のスコアを現します。2行目以降はインポート毎の評価です。
- 下段（青枠）の最初のレコード（All 〇〇）の各フィールドのスコアを確認する。
スコアを確認した結果：- 前回より、いずれのスコアも向上している → MLスキルのデプロイに進む
- 全体スコアは上がったが、一部のフィールドでスコアが下がった → ラベリングが正しいか、また学習量の少ないレイアウト（10枚未満）の有無の確認。再学習の実施。
- 全体および多くのフィールドでスコアが下がった → ラベリングや学習量に問題がない場合、再学習およびデプロイは実施しない。
Regular & Classification Fieldsシート / Column Fieldsシート
- 評価ファイル（※1）毎に各フィールドの「自動抽出結果」「正解値（ラベル付けした値）」「信頼度」「正確性スコア」が並びます。
- 「信頼度」はUiPathの独自ロジックの判定結果も加味しますが、ラベル付けを正とし、「正確性スコア（赤枠）」を確認します。
- 「正確性スコア（赤枠）」が「1」以外のものは、抽出結果に問題があるため、「正解値（青枠）」と値を比較します。（※2）
- 「正解値（青枠）」に問題がない場合、同種のレイアウトを追加で投入し、再学習を実施します。
※1：再学習をおこなう際は、前回・前々回からのスコアの推移をみます。この際、異なるデータセットが評価ファイルに指定されることを避けるため、評価用のデータセットを別途用意してインポートしましょう。（ドキュメントをインポートする際に「これを評価セットにする」のチェックを入れましょう）なお、評価セットが未指定の場合、全体の2～3割のデータセットを自動選定してトレーニングが実施されます。
※2：「正解値（青枠）」はユーザーのアノテーション作業で指定された値のため、100%正解ではない可能性があります。このため、「正確性スコア（赤枠）」が「1」でない場合、まずはアノテーションが正しくおこなわれているかをご確認ください。
さいごに
いかがでしたでしょうか。
アクティブラーニングでは、フィールド毎の各種スコアは確認できるものの評価データの詳細を出力できません。（これがないとトレーニング後のスコアを分析できません。）
AI Center は初学者には内容や操作がわかりにくいつくりになっていますが機能は充実しています！AI Center の機能が早くアクティブラーニングに吸収されることを期待します！
最後までお読みいただきありがとうございます(・ω・)ノ