AI Builderの「カスタムプロンプト」を使い、スキャン画像の注文書から必要な情報を抽出し、Power AutomateでExcel連携まで試した事例をご紹介します。
はじめに
私は以前、業務改善プロジェクトの中でAI Builder ドキュメント処理モデルを使って画像の注文処理の効率化に取り組んでいました。
📺ビリビリPower Apps同好会 登壇大会＃2「AI Builderで画像の注文処理を効率化」
改善活動の取り組みは継続しており、現在も画像の注文書などの処理についてご相談をいただきます。ただ、知識や経験不足もあり、帳票のフォーマットによってはドキュメント処理モデルだけでは少々苦しい場面も…。
そこで、今回は より柔軟な抽出を目指し、以前より気になっていたAI Builderのカスタムプロンプトに挑戦してみました。
📄 注文書フォーマット
※画像はサンプルとなり、帳票の形式や記載情報は一部改変しています。
抽出したい箇所は以下の情報となります。
- 発注番号
- 部品番号
- 発注数
- 納期
※抽出したい箇所を示すと赤枠の部分です。
❗ 抽出における課題
課題として、
- 情報が1行おきに配置されている
- 手書きで修正された日付が混在している
- スキャン精度により文字の鮮明度にバラつき
という状況でした。
やりたいこと（処理イメージ）
Power AutomateのフローからPDFファイル取得 → AI Builderによる情報抽出 → JSON出力 → Excelへ書き込みという一連の自動処理フローを構築したい、という目的です。
カスタムプロンプトの設定
AI Builder プロンプトからカスタムプロンプトを作成。
以下のような形式で指示を記載しました。
注文書の表の「部品番号」が記載された行から以下の項目を抽出し、JSON形式で出力してください。
■抽出項目
部品番号
部品名称
発注番号
納期
発注数量
発注単価
発注金額
■JSONフォーマットサンプル
[
{
"部品番号": "P001",
"部品名称": "ねじ M3×10",
"発注番号": "P001",
"納期": "2025/06/14",
"発注数量": "1500",
"仕入単価": "2",
"発注金額": "3000"
}
]
🧪 テスト結果①
綺麗にテキストが抽出され、JSON形式として出力されています。
ポイントとしては、 手書きで修正された日付 も修正後の日付で抽出されているところです。
気になるところとしては、出力結果がコードブロック（'''json~'''）で囲まれているところです。
想定では、Power Automateのフロー内でAI Builderの出力を「JSONの解析」に渡し、解析結果をExcelテーブルに書き込みたいのですが…
この状態だとコードブロックが邪魔をして「JSONの解析」アクションでエラーが発生します。
「JSONの解析」前にコードブロック部分を取り除けばいいのですが…。
🛠 プロンプト修正
出力を純粋なJSONにするため、プロンプトを「マークダウン形式ではない、純粋なJSON形式で出力」というように修正しました。
✅ テスト結果②（修正後）
コードブロックなし！🎉
Power Automateの実行でも「JSONの解析」アクションを通過し、Excelテーブルへの行追加も成功！
🆚 ドキュメント処理モデルとの比較
| モデル | 特徴 |
|---|---|
| ドキュメント処理モデル | テーブル構造に強く、精度も高いが、手書き文字や柔軟なフォーマットには不向きな場面も |
| カスタムプロンプト | 柔軟な指示が可能。曖昧な情報や手書きデータにも対応しやすいが、構文に注意が必要 |
✍️ まとめと所感
- カスタムプロンプトは柔軟な抽出が可能で、市民開発者にとってとても心強い味方
- 「例示の揃え方」や「出力形式の明示」で精度と安定性が向上
- AI Builderの出力形式には注意（```json など）
- ドキュメント処理モデルと併用することで、用途に応じた柔軟な選択が可能
🙏 おわりに
カスタムプロンプトの活用で、AI Builderの可能性がさらに広がることを実感しました。
なお、今回の注文書フォーマットについてはドキュメント処理モデルでも試しました。
手書き修正の日付部分の文字の崩れはあったものの、テーブル構造については綺麗に取得することができました。
今後も状況に応じてモデルを使い分けて、業務改善に役立てていきたいです。
※この記事は私個人の経験に基づくものであり正確性を保証できません。
各製品の詳細な情報や最新の情報については公式ドキュメント等をご参照ください。
📚 今回の挑戦にあたり参考にした情報
Microsoft MVP dai365さんのAI Builder関連記事
ビリビリPower Apps同好会のご登壇内容
📺dai365さんLT登壇 気ままに勉強会 109 生成AI帳票読み取り Power Automate ×AI Builder・Mistral AI・Gemini2.5・GPT-4.1・o4-mini
※Microsoft MVP ヨウセイさんの「ヨウセイTube」でご視聴いただけます。
いつもありがとうございます