このブログは「RPA（ロボティック・プロセス・オートメーション） Advent Calendar 2023」の25日目 の記事です。
≪ 前日の記事はこちら

この記事の内容は、2023年12月19日に開催された RPACommunity ライトニングトークについてのレポートです。

▼ 動画でご覧になりたい方は、こちらからどうぞ！

以下は、動画で話しきれなかった内容も補足していきたいと思います。
内容は以下の通りです。

まずは手軽にWinActorで生成AIを操作したい！

WinActor Talk支部でWinActorとChatGTPを利用したイベントを企画したのですが、諸事情ありまして、かーでぃさんがメインの内容を考えることになりました。

WinActorをAPIで操作してChatGTPに調べ物をさせるという内容でしたが、かなりレベルが高く、もうちょっとお手軽感も欲しいと思っていました。

イベントまであと2日……というところで、WinActorの「ユーザーフレンドリー」力を信じて、APIなしで操作するWinActorのシナリオ作成に何のあてもなく取り組んでみることにしました！

そこから慌てて作った内容が以下の目次となります。

１．本日の内容と作ろうと思ったきっかけ

まずはざっくりと登壇内容の説明です。
生成AIチャットサービスを利用するにあたり、利用が初めての方の心配ごとについて考えてみました。

ChatGTPのAPI利用はお金がかかるんでしょ？
クレジット情報を入力したくない
他の生成AIチャットサービスは利用制限がある

など色々考えられますが、今回はお金や利用制限を心配しなくていい方法を探っていくこととしました。

で、該当するサービスがこんかいしようした「 リートン 」でした。

こちらのサービスをひととおり調査して、利用が初めての方にもピッタリな内容だと思いました。そしてちょうどAPIのサービスは提供されていない状態でしたので、WinActorで操作させていただくにはちょうどいいかもと思い、トライさせていただくことにしました。

念のためではありますが、利用規約を確認した上でルールを守って利用するようにしてください！

現状は無料で利用できますが、急に利用規約が変わって有料になることも想定されますので、その点も注意して利用いただければと思います。
最後に、WinActorでAPIなしで操作しますので、操作内容は外部から丸見えになりますし、履歴も残ります。API利用で得られるメリットとデメリットのバランスを考えて試していただければと思います。

そして上記は建前の経緯になります。
とはいえ、本当に大変な作業なので、時間が出来たら自動化したいと考えてはいる作業内容です。

この場を借りて、本音を漏らしてみた次第です🤣

ある程度、手作業でも楽できるようにしてはみたものの、やはり単純なコピペ作業なのでぜひとも自動化しておきたい……！（年末年始あたりで自動化しておこうかな。）

２．無料の生成AIチャットサービスについて

詳細については以下の通りです。
無料で回数制限なしでいろんな質問を試せるので、プロンプトを勉強されたい方にはぴったりだと思います。

通常のチャットサービス以外にも、長文やSNS投稿用の文章生成のツールなども無料で試せるので、この年末年始で遊んでみるのもアリかもしれませんね！👍

３．どうやってUIを操作するか

実際の操作について考えてみた結果が下図の通りです。

ブログの内容に関連するキーワードを含んだプロンプトをコピー
生成AIのチャット欄に入力
送信ボタンを押下
生成された文章をコピー
コピーした文章を調査結果の入力欄に転記

上記処理で一番苦慮したのが、4の「生成された文章のコピー」でした。
ブラウザ上で生成された文章の範囲選択の操作が、WinActorでは操作しづらく「どうすればいいのか……」と悩んでおりました。

何回かプロンプトを試していると、たまにコードブロックで生成される事象が起きました。コードブロックの右上のボタンが気になり押してみると、なんと文章（正確にはコード）がコピーできるじゃないですか！

で、プロンプトの書き方を調べてみると、必ずコードブロックで生成する書き方があることが分かったので、この点は何とか解決することができました！

４．実際にWinActorで自動化してみた

アイデアは固まったので、WinActorを駆使してブラウザ上のUIを自動化しまくります！
とはいえ、どこまでWinActorで操作できるのか……イベントまでに完成しないといけないので、いざとなったら画像マッチングで乗り切ろうと思いながら挑戦してみました。

１．ブログの内容に関連するキーワードを含んだプロンプトをコピー: こちらはExcelだと見えづらいかと思い、テキストファイルからコピーすることにしました。
２．生成AIのチャット欄に入力: こちらはブラウザ関連のライブラリで入力ができなかったのと、新ブラウザ拡張機能の制約上、エミュレーションでペーストして乗り切りました。
３．送信ボタンを押下: ブラウザ関連のライブラリでクリックできなかったので、画像マッチングで対応しました。
４．生成された文章をコピー: 生成に時間がかかるのと処理の完了時間が不定なので、生成終了後に特定の画像が表示されたら次の処理を実行するよう、待機処理をいれました。
生成後のコードブロック右上のコピーボタンを押下するために、スクロールして画像マッチングでボタンを押す処理を作成しました。
５．コピーした文章を調査結果の入力欄に転記: こちらもExcelだと見えづらいかと思い、テキストファイルに転記することにしました。

これらの処理を何とか作って、動画を撮影して何とか資料を作り終えることができました！
さすがWinActor……サクッと作れるこの「ユーザーフレンドリー」力がたまりませんね！😁

５．まとめ

ということで、WinActorの力でなんとか仕上げることが叶いましたが、試される方はあくまで自己責任でお願いいたします。

生成AIでブログ生成に挑戦したという点での感想ですが、なかなか想定通りの文章になることは少ないと思いますので、あくまで「たたき台」として使用されることをおススメいたします。
たたき台だけでも考える手間が省けますし、逆にアイデアが出てくることもありますので、今回「意外と試してよかった」と思いました。

それでは皆様、✨メリークリスマス🎄 ＆ ✨よいお年🎍 を！