Power Apps と AI Builder の GPT-4o で画像判定アプリを構築する方法

はじめに

以下の記事で紹介した通り、AI Builer のプロンプトにて、直接ファイルをアップロード出来るようになりました。

そのため、以下で紹介したようなアプリについて、直接 Azure OpenAI にリクエストしなくても実現できるようになりました。

今回は、こちらを置き換えるにあたって、Power Apps から Power Automate へのファイルの受け渡しについて、少し癖があるため、簡単ですが、アプローチを紹介します。

アプローチ

まず、用意するプロンプトはこのような感じで超シンプルです。

作成した Power Automate 側も超シンプルです。作成アクションは確認のために入れているだけですので、実質トリガーと 2 つのアクションだけでいけます。

Power Apps 側でアップロードしたファイルを Power Automate に複数送る処理は以下のような感じです。複数ファイルの送信、少し癖がありますね。

Set(
    output,
    'CallGPT-4oAIBuilder'.Run(
        TextInput1.Text,
        {
            file: {
                name: Concatenate(
                    "正しい画像_",
                    Text(
                        Now(),
                        "yyyymmddhhmmss"
                    ),
                    ".png"
                ),
                contentBytes: Image2.Image
            },
            file_1: {
                
                name: Concatenate(
                    "調査対象画像_",
                    Text(
                        Now(),
                        "yyyymmddhhmmss"
                    ),
                    ".png"
                ),
                contentBytes: UploadedImage1.Image
            
               
            }
        }
    ).result
)

実行結果

実行してみました。

ガイドラインに従っていない旨、しっかり指摘してくれています。

なお、今回、Power Automate 経由にしましたが、Power Apps から直接でも行けます。引数の順番がずれていることがあるので、確認した上で渡してあげましょう。

Set(
    output,
    画像比較プロンプト.Predict(
        Image2.Image,
        UploadedImage1.Image,
        TextInput1.Text
    )
)

まとめ

今回は、AI Builder のプロンプトで直接ファイルをアップロードできる機能が追加されたことを踏まえ、これまで Azure OpenAI に直接リクエストを送信して画像判定を行っていたアプリやフローを、AI Builder のプロンプトベースに置き換える方法をご紹介しました。

この変更により、ローコードやノーコードの範囲内で (Azure OpenAI と連携せずに) GPT-4o の技術を活用したアプリやフローを作成できるようになり、市民開発で実現可能な範囲がさらに広がったと感じています。