AI Builder のプロンプトで画像、ドキュメントが利用可能になった

はじめに

Power Platform のサービスの一つである AI Builder では、プロンプトを作成して Power Apps や Power Automate から利用することができます。

Azure OpenAI の技術が裏で活用されていますが、Azure リソースの準備は不要です。そのため、手軽かつ安全に生成 AI 技術を活用した独自の Power Apps アプリや Power Automate 自動化フローを作成したい市民開発者の方には、AI Builder をお勧めします。

AI Builder の活用例について、これまでいくつかの記事で紹介してきましたが、例えば、以下のように、請求書がメールで届いたら、自動で OCR でテキスト抽出して、そのテキストをプロンプトに渡して必要な情報だけ JSON 形式で抽出し、アプリで最終確認してデータ連携 (例えば、SharePoint リストに登録) するようなことが可能でした。

以下は他の活用記事です。

そして今回、AI Builder のプロンプトで画像、ドキュメントが利用可能になりました。

パブリックプレビューです。

以下はリファレンスで、ファイルサイズ、ファイルの種類、ページ数等に制限がありますが、それなりのことは出来るようになったという認識です。

今回は、こちらを試してみた内容を整理したいと思います。

まず、上記のようなメールの添付ファイルからテキストを抽出して、最終的に必要な情報を抽出することは、これまでも可能でした。

AI Builder には、OCR のモデルがあり、Power Automate から簡単に利用可能なため、一旦 OCR でテキストを抽出し、そちらの情報をプロンプトに渡す感じでした。

対して、こちらの新しい機能の場合、OCR を介さずに同じことが実現できるようになりました。

テストしてみると、良い感じに JSON で出力してくれていました。

{
  "invoice_number": "0001",
  "invoice_registration_number": "T2330000000000",
  "issue_date": "2023-10-31",
  "due_date": "2023-11-30",
  "sub_total_amount": 50000,
  "tax": 5000,
  "total_amount": 55000,
  "payment_method": "",
  "billing_to": {
    "name": "株式会社 TAKMASPOWER 御中",
    "address": "******"
  },
  "billed_by": {
    "name": "マイクロソフト株式会社",
    "address": "100-0000 東京都港区"
  },
  "line_items": [
    {
      "description": "Power Apps Premium",
      "quantity": 20,
      "unit_price": "2,500",
      "total_price": "50,000"
    }
  ]
}

※架空のデータです

どちらの方法でも同じ結果となりましたが、選択肢が多いに越したことはないと思います。個人的には、元々の OCR 機能で文字さえ抽出出来れば、精度はそれほど変わらない気がしますが、もし片方の方法で精度が出ない場合は、もう片方を試してみるとよいかと思います。

また、画像もアップできるため、以下の記事で紹介したようなアプリも、Azure OpenAI に HTTP リクエストしなくても実現できると思いますし、市民開発者の方が生成 AI の技術を活用した独自の Power Apps アプリや Power Automate 自動化フローを作成出来る幅が広がったと思います。