Power Automate for desktop 「データ制約に合わせた入力の自動化」

概要

　Power Automate for desktopだけでは難しかったデータ制約に合わせた入力の自動化に、Azure OpenAI Serviceを活用する方法です。

古めの基幹システムに入力の自動化を試みる際、文字の種類や数の制限が厳しいことがあります。特に課題となっていたのが「摘要欄」や「通信欄」の文字数制限です。この解決にAzure OpenAI ServiceのGPTモデルを利用して要約をおこないPower Automate for desktopと組み合わせます。

前提条件

• Windows 11 Pro 22H2
• Power Automate for desktop 2.35.159.23221
• Azure OpenAI Model gpt-35-turbo 0613

注意事項

• 2023年9月18日時点の情報です。
• Azure OpenAI Serviceを利用できるAzure環境が必要です。
• 環境準備については触れません。参考Learn「Azure OpenAI Service リソースを作成してデプロイする」
• Azure OpenAI Serviceは従量課金です。今回の検証程度であれば数十円程度でした。
• この分野は進歩が早いため注意が必要です。
• 注意していますが個人的見解を多く含みます。
• 1次情報ではありませんので自己責任でお願いします。

Azure OpenAI Serviceについて

Azure OpenAI では、プライベート ネットワーク、リージョンの可用性、責任ある AI コンテンツのフィルター処理が提供されます。

個人的な感想です。

• REST APIが用意されていて、データーをモデルの再学習に使わない観点から、アプリに組み込んで業務利用する場合に向いていると思います。
• Azure OpenAI Studio の Web ベースのインターフェイスからプロンプト調整がしやすいです。

フロー概要

今回の条件

• 受注データの通信欄を想定した文章データを全角12文字に要約します。
• 今回の入出力はExcel to Excelで試行します。
• 要約時12文字より多くなった場合、再帰させずに人が確認修正します。

フロー概略

条件を考慮したフロー概略です。

今回のフローではうまく要約できるかが鍵になっています。そこでAzure OpenAIを想定の動作に近づけるための調整作業をします。

System messageとExamplesを使った調整

モデルはgpt-35-turbo 0613を利用しています。Azure OpenAI StudioにあるChat playgroundに移動します。

UIは「Assistant setup」「Chat session」「Configuration」の3つに分かれています。今回は「Chat session」で試しながら、「Assistant setup」のSystem messageとExamplesを使い調整します。

はじめに「Assistant setup」を使わず試しました。

前提条件のない状態ですが、例文ではそこそこの良い要約です。

今度はSystem messageに前提となる条件を与えてみます。

「。」が残っていますが、ほどほどに要約されています。

しかし少し複雑な文章になると12文字の制約は無視されました。

そこで「Examples」にいくつか回答例を与えました。

System messageとExampleをいろいろ変化させ試行錯誤します。

最終的にSystem messageとExampleは次のJSONのように設定しました。
JSONは「Chat session」のShow raw JSONのトグルスイッチをONすることで表示できます。

ただし結果は完全ではないので12文字の制限を超えたときは人が確認修正するようにフロー側で行うようにします。

[
    {
      "role": "system",
      "content": "あなたは日本語の先生です。あなたはユーザからの文章を12文字以内に要約してください。送り仮名を使わないで表現にしてください。また文字は全角に変換してください。スペースや句点および読点を削除して1文にしてください。必ず12文字以内になっているか確認します。12文字を超えた場合、再度、適切に文字削除を行ってください。"
    },
    {
      "role": "user",
      "content": "午前中"
    },
    {
      "role": "assistant",
      "content": "Ａ"
    },
    {
      "role": "user",
      "content": "プレゼント"
    },
    {
      "role": "assistant",
      "content": "プレ"
    },
    {
      "role": "user",
      "content": "9月15日午後の配達でお願いします。プレゼント包装希望です。"
    },
    {
      "role": "assistant",
      "content": "９／１５Ｐプレ包装"
    },
    {
      "role": "user",
      "content": "過剰包装はやめてください。"
    },
    {
      "role": "assistant",
      "content": "過剰包装不要"
    },
    {
      "role": "user",
      "content": "午後"
    },
    {
      "role": "assistant",
      "content": "Ｐ"
    },
    {
      "role": "user",
      "content": "10月20日午前"
    },
    {
      "role": "assistant",
      "content": "１０／２０Ａ"
    },
    {
      "role": "user",
      "content": "リボンをつけた"
    },
    {
      "role": "assistant",
      "content": "リボン付"
    },
    {
      "role": "user",
      "content": "ラッピング"
    },
    {
      "role": "assistant",
      "content": "包装"
    },
    {
      "role": "user",
      "content": "ギフトボックス"
    },
    {
      "role": "assistant",
      "content": "贈箱"
    }
]

Power Automate for desktopに実装する

• サンプル文章はExcelファイルで用意しました。
  
• 概略図の中で主要になる3つの動作について解説します。
  

1.「Web サービスを呼び出します」アクションを使いAzure OpenAI Serviceで要約します

Azure OpenAI StudioのChat sessionのView codeに進みます。

コードをJSONに切り替えます。ここにある情報を参考に「Web サービスを呼び出します」アクションの各項目を埋めて行きます。

• URL 「Sample Code」に表示されたEndpointを使用します。
  https://サブドメイン名.openai.azure.com/openai/deployments/モデル名/chat/completions?api-version=2023-03-15-preview
• メソッド　POSTを選択します。
• コンテンツタイプ　application/jsonにします。
• カスタムヘッダー api-key:%APIKey%　api-keyは「Sample Code」に表示されたKeyを直接書くこともできますが、ここでは変数にしています。
• 要求本文　「Sample Code」に表示された基本形を加工します。

  {
    "messages": [],
    "temperature": 0.7,
    "top_p": 0.95,
    "frequency_penalty": 0,
    "presence_penalty": 0,
    "max_tokens": 800,
    "stop": null
  }

messagesの[ ]配列とShow raw JSONから取得したSystem messageとExamplesを置き換えます。その配列の最後に次のJSONをつけ足します。

  {
    "role": "user",
    "content": "%UserMessage%"
  },
  {
    "role": "assistant",
    "content": ""
  }

userの%UserMessage%は要約したい文章の変数です。assistantの""は要約された答えが返却される部分です。

{
"messages": [
  {
    "role": "system",
    "content": "あなたは日本語の先生です。あなたはユーザからの文章を12文字以内に要約してください。送り仮名を使わないで表現にしてください。また文字は全角に変換してください。スペースや句点および読点を削除して1文にしてください。必ず12文字以内になっているか確認します。12文字を超えた場合、再度、適切に文字削除を行ってください。"
  },
  {
    "role": "user",
    "content": "午前中"
  },
  {
    "role": "assistant",
    "content": "Ａ"
  },
  {
    "role": "user",
    "content": "プレゼント"
  },
  {
    "role": "assistant",
    "content": "プレ"
  },
  {
    "role": "user",
    "content": "9月15日午後の配達でお願いします。プレゼント包装希望です。"
  },
  {
    "role": "assistant",
    "content": "９／１５Ｐプレ包装"
  },
  {
    "role": "user",
    "content": "過剰包装はやめてください。"
  },
  {
    "role": "assistant",
    "content": "過剰包装不要"
  },
  {
    "role": "user",
    "content": "午後"
  },
  {
    "role": "assistant",
    "content": "Ｐ"
  },
  {
    "role": "user",
    "content": "10月20日午前"
  },
  {
    "role": "assistant",
    "content": "１０／２０Ａ"
  },
  {
    "role": "user",
    "content": "リボンをつけた"
  },
  {
    "role": "assistant",
    "content": "リボン付"
  },
  {
    "role": "user",
    "content": "ラッピング"
  },
  {
    "role": "assistant",
    "content": "包装"
  },
  {
    "role": "user",
    "content": "ギフトボックス"
  },
  {
    "role": "assistant",
    "content": "贈箱"
  },
  {
    "role": "user",
    "content": "%UsertMessage%"
  },
  {
    "role": "assistant",
    "content": ""
  }
],
"temperature": 0.7,
"top_p": 0.95,
"frequency_penalty": 0,
"presence_penalty": 0,
"max_tokens": 800,
"stop": null
}

• 要求本文をエンコードしますのトグルスイッチをオフにします。忘れるとエラーになります。
• 「Web サービスを呼び出します」アクションから戻ってきたJSONをカスタムオブジェクトに変換します。
  
• assistantの回答はカスタムオブジェクト%JsonAsCustomObject['choices'][0]['message']['content']%に格納されています。

2.「カスタムフォームを表示」アクションを使い要約が12文字を超えた場合、修正を要求する

Azure OpenAI Serviceから戻ってくる要約はそこそこ良い感じなのですが、答えに微妙な揺れがあります。

たまに12文字を超えてしまう場合もあります。今回は「カスタムフォームを表示」アクションを用いてその場合は人が修正としました。

「カスタムフォームを表示」アクションから出力される変数はカスタムオブジェクトです。修正した要約文として%CustomFormData['Text input']%を取得します。

3.「PowerShellスクリプトの実行」アクション

そもそも12文字以下で要約が必要ない場合、全角変換だけ行いました。

Add-Type -AssemblyName "Microsoft.VisualBasic"
[Microsoft.VisualBasic.Strings]::StrConv("%CommunicationField%", [Microsoft.VisualBasic.VbStrConv]::Wide)

%PowershellOutput%は空白文字が残るので削除しています。

まとめ

今回Excel to Excelで行いましたが、基幹システムにAPIがなくターミナルエミュレーターを操作するような入力自動化を行うときはPower Automate for desktopとAzure OpenAI Serviceを組み合わせてデータの制約を解決できそうです。しかし次のような課題があるのも事実です。

• 完璧ではないので許容できる範囲を決めるのと、人を必要とする部分が残ります。要件によっては全てを任せてしまうのは今の段階では厳しそうです。
• Examplesを増やせば結果は良くなるかもしれまんがトークンを多く消費します。そのあたりはトレードオフです。
• かなり多くのコメントに対応できそうですが、扱うデータの性質（例えば受注、入金データ、通販など）によって傾向が異なるため、Examplesはデータに合わせて調整した方がよさそうです。
• 文章中で何が重要か単語の重みづけが難しいとき、文字数制限を破ってくる傾向です。
• 文字数制限を満たすまで再帰フローも試みましたが、意味の変化が散見さられた為、今回のフローでは採用しませんでした。
• 今回使ったモデルはChatGPT 3.5 turboですので4.0に期待です。

　反省点として、例文が悪かったと感じています。しっかりした通販サイトであれば日時指定や包装紙など間違えが許容できないデータは入力フォームで選択式にデザインすると思います。あくまで自動化のプラクティスということで・・。

　本当はPower Automate for desktopの「Azure OpenAI Service の GPT でテキストを作成する（プレビュー）」アクションを使いたかったのですが2023年9月18日現在Learnに

この機能は、限定的なプレビューです。 試用版に参加するために申請してください。 申請するには、限定プレビュー リクエストにアクセスしてください。

とあります。しかしリクエスト先のフォームは終了しているため、今回はAzure OpenAI Serviceを利用しました。
従量課金といっても、今回の検証程度では少額なので怖がらずどんどん試してみるのが良いと思いました。

参考

• Azure OpenAI Service リソースを作成してデプロイする
• Azure OpenAI Service の REST API リファレンス
• Data, privacy, and security for Azure OpenAI Service
• 祝 Azure OpenAI Service GA! ⑤幼稚園生の疑問に答えてくれる "しま〇ろう BOT" を ChatGPT で作ってみる　　Cogbotでお世話になった記事です。