はじめに
みなさん、こんにちは。
日本マイクロソフトの佐々木です。
以前、別の記事で生成AIを組み込んだ業務アプリをPower Platformで開発する方法についてご紹介しました。
当時は生成AIによる画像処理系のシナリオの場合、基本的にAzure OpenAIと連携する必要がありましたが、AI BuilderのAI プロンプトで処理できるようになっているため、本記事ではこちらの機能を紹介していきます。
本機能はGAから数か月経過しておりますので、詳細説明は割愛します。
ハンズオン的に紹介していきます。
AI BuilderのAIプロンプトとは
AI BuilderのAIプロンプトは、Power Platform内で生成AIを活用するための機能で、カスタムプロンプトを作成、テスト、保存できます。
主な特徴は以下の通りです：
・プロンプトの作成と管理：ユーザーは自然言語で指示を記述し、特定のタスクに合わせたプロンプトを作成できます。
・再利用性：作成したプロンプトは保存して再利用でき、他のユーザーと共有することも可能です。
・統合性：プロンプトはPower AutomateのフローやPower Appsのアプリ内で活用でき、ビジネスプロセスの自動化やアプリケーションの高度な生成AI機能を実現します。
・サポートされるタスク：プロンプトは、画像処理、テキストの要約、データ分類、エンティティ抽出、言語翻訳、感情分析、苦情対応の作成など、多岐にわたるタスクに使用できます。
■AI プロンプトの作成画面
■Power Appsから呼び出す_テキスト処理
■Power Appsから呼び出す_画像処理
まったく別のシナリオですが、マルチモーダルAIですので、画像処理も可能です。
利用できるAIモデル
AI BuilderのAIプロンプトで利用できるGA済みのモデルは2025年3月現在 GPT4oになります。
いわゆるマルチモーダルの仕組みになりますので、入力としてテキストや画像を処理することが可能となります。
ハンズオンシナリオ_Power Automateから画像処理するAIプロンプトを呼び出す
設備保全担当者が設備保全の報告業務を効率化するソリューションを構築したいとおもいます。
画像処理系のシナリオとなります。下記が狙いです。
- AI Builder（AI プロンプト） を活用して生成AIのプロンプトの基本を学習する
- プロンプトにテキスト、画像、またはドキュメント入力の方法を学習する
- AI Builder（AI プロンプト） をPower Automateで利用する方法を学習する
AIプロンプトの作成
下記のような設備トラブル報告書があり、画像やPDFの内容を画像処理し、設備トラブルの報告内容を分析して、結果を出力させます。
AIプロンプトを作成し、プロンプトを作成していきます。
設備保全の報告内容より要約してください。
#指示
・報告内容を要約します。要約には、日時、発生場所、状況、原因、対応内容など必要な情報を含んでください。
・重要なインシデントか否かを判断してください。判断基準は下記に示します。
・口調は丁寧な表現をしてください。
##判断基準
・設備不具合の原因が人的(ヒューマンエラー)に引き起こされたもの
・現在の状況が改善されていないもの
#入力
#出力形式
JSON形式で出力してください。
[]やjsonのような不要な文字列は出力しないでください。
今回は画像やPDFを入力の引数として選択します。
プロンプト内に設定した入力引数を設定します。
出力フォーマットを設定する
今回はPower Automateで取り扱いやすいようにJSON形式の出力を設定します。
{
"Summary":"",
"iSIncident":true
}
テストする
生成AIプロンプトを確認し、問題なくAIプロンプトが動作するか確認するためテストを実行します。[画像またはドキュメントをアップロードする]よりサンプルデータをアップロードします。
問題なく、JSON形式で出力が確認できました！
問題なければ、[カスタムプロンプト]を保存します。
制限事項
画像またはドキュメントの入力の場合、プロンプトにアップロードするファイルのサイズ制限は、すべてのファイルの合計で 25 MB です。
画像またはドキュメントの入力の場合、PNG、JPG、JPEG、BMP、TIFF、PDF 以外の形式のファイルを渡すことはできません。
Power Automateから呼び出す
今回はPower Automateから作成したAIプロンプトを呼び出します。
もちろん、Power AppsやCopiot Studioから呼び出すことも可能です。
Power Appsから呼び出す際の要領はAzure OpenAIで作成した場合とほぼ同様ですので、今回は割愛します。下記ブログ参照ください。
下記のようなフローを作成し、メールの添付ファイルを抜き出し、作成したAIプロンプトを呼び出します。
isIncidentの値を評価して、条件分岐させたいと思います。
テストする
Power Autoamteを経由した際も同様に処理することができました。
ほかにもいろいろなシナリオを一気見せします。
AIプロンプトの魅力を伝えるため、色々なシナリオをお見せします。
Power Apps × 画像処理のサンプルアプリ
非構造的な画像
分かりやすいようにプロンプト部分も1画面にまとめていますが、あくまで精度を確認するために参考までに。
手書き×感情分析
手書き×項目抽出
こういった手書きの作業日報も処理できます。
Dataverseグラウンディング機能
Dataverseのテーブルも参照することができます。
このあたりの機能は下記で利用方法を紹介しています。
おわりに
いかがだったでしょうか？
AI Builderを活用して簡単に生成AIを活用したPower Platformアプリを開発する方法についてご紹介しました。
ぜひご活用ください。