はじめに
- 本記事では、UiPath の Clipboard AI という製品（ツール）を紹介します。
- 記事の内容は、個人の見解または確認結果であり、UiPath の公式見解ではありません。
- 製品仕様や参考画像は 23.11 バージョン（β版）のもので構成しています。
Clipboard AI とは
UiPath Clipboard AIは、請求書や発注書などに含まれるテキストデータをアプリケーションに転記する作業などを省力化できます。 メール画面や文書ファイルなどから請求書データなどをクリップボードにコピーし、データ入力画面へとワンクリックで転記することが可能です。
インストール
Automation Cloud にアカウント登録してあれば
メールアドレスを入力して「Download」ボタンを押すだけ！
「Download」ボタンを押した後にメール（以下、参考）が届きますが、ブラウザ上のボタンからインストーラーはダウンロードできるので特に確認不要です。
「Download」ボタン↓↓
UiPathClipboardAI.msi をダブルクリックし、ウィザードに従ってインストールを進めます。
インストールが完了すると、デスクトップ上に「UiPath Clipboard AI」のショートカットが作成されます。
Clipboard AI を起動すると、モニターの上部に「Copy Window」と「Paste in form」の2ボタンが表示されます。
使い方
1）読み取りたい画面（ウィンドウ）または範囲を指定（クリックや範囲指定）
2）「Copy Window」ボタンをクリック
3）読み取りたいフィールドの名称を指定
（例）「全国の天気」と入力し、検索した結果（プレビュー）
4）貼り付けたい画面（ウィンドウ）または範囲を指定（クリックや範囲指定）
5）「Paste in form」ボタンをクリック（以下はメモ帳の例）
株価情報をEXCELに出力してみる
Yahoo ファイナンスの株価情報のページを開き、「Copy Window」ボタンをクリックします。
ページの中から抽出したい項目を幾つか指定します。
例として、「安値」「高値」「社名」を入力
「安値」と「高値」はページ上に文言があるが、『ユーアイパス』には適当なラベルが存在しないため、「社名」と入力したところ、AIが自動で対象を認識してくれました！！
貼り付け先を指定し、「Paste in form」ボタンをクリックします。
EXCELの情報をWEBの履歴書に転記してみる
Yagish さんのアルバイト履歴書のページ
で転記を試してみます。
読み取り結果から、EXCELの場合はセルが値の最小粒度と認識する様で
そのまま貼り付けるとこんな感じになります↓↓
性別のチェックボックスにちゃんとチェックが入ったことが衝撃でした！！
入力先のフィールドの粒度でEXCEL側も値を用意することで、意図したかたちで貼り付けることができます。
画像から文字列を抽出してみる
「hogehoge テスト」「読み取りテスト」という文言を含んだ画像（PNG）で試験してみます。
「hogehoge」だけ認識できるようで、他はどうPromptを指定してもEmptyで返ってくる
→ β版だから仕方なし！呼び出されているOCRが日本語に対応していないのでしょう
英字のみとすればこの通り完璧です↓↓
「Setting（設定画面）」には抽出モデルを設定できる箇所もあるので、一般公開される頃には画像読み取りにも使える？様になってるかもしれません。
さいごに
いかがでしたでしょうか？まだ個人向けの学習機能などはついていない（貼り付け対象フィールドを都度指定が必要な）ので、利用イメージをつかむためのお試しまでとなりますが、夢膨らむ非常に便利なツールだなーという印象です。
まだ Automation Cloud にアカウントを持っていない方、無償版でも多くのオートメーションサービスを利用できるので、興味の沸かれた方は是非是非ご登録ください！
https://www.uipath.com/product/clipboard-ai