はじめに
Power AutomateからAzure OpenAI APIを呼び出し、生成AIの出力を既存の業務システムに流し込む構成は、社内のAI活用が一段階進んだ企業でよく検討されるテーマだ。
ただし「動いた」と「安定して動き続ける」の間には、いくつかの設計上の落とし穴がある。本記事では、大企業でAI・デジタル化推進に携わる立場から、実際によく見かける失敗パターンと、それを防ぐための設計ポイントを整理する。
1. 生成AIの出力は必ずバリデーションを挟む
生成AIの分類結果や要約出力を、そのまま次の処理に流し込む設計は危険だ。モデルが想定外のフォーマットで返してきた場合や、信頼度が低い場合に、後続の自動処理が誤動作する。
実装上は、Power Automate側のフロー内に「結果が期待するスキーマに合致しているか」を検証するステップを必ず挟む。合致しなかった場合は自動処理を止めて担当者へ通知する分岐を作っておくと、誤動作を初期で止められる。
[Azure API呼び出し]
↓
[スキーマ検証ステップ]
├─ 正常: 後続フローへ
└─ 異常: 担当者へ通知・処理停止
2. 出力形式はJSONで厳密に固定する
生成AIに自由な文章での回答を許すと、Power Automate側でのパース処理が不安定になる。プロンプト内にJSONスキーマのサンプルを直接埋め込んでおくのが効果的だ。
{
"category": "技術問い合わせ",
"confidence": 0.92,
"department": "ITサポート"
}
「次のキーを持つJSON形式でのみ回答すること」という指示に加えて、上記のようなサンプルを1〜2件見せておくと、期待通りの形式を返す確率が大幅に上がる。
3. リトライ処理は「失敗の種類」で分ける
Azure API側の一時的な障害に対して、Power Automateのリトライポリシーを設定する際は、失敗の性質に応じてリトライ戦略を分けること。
| 失敗の種類 | 推奨対応 |
|---|---|
| レート制限(429) | 数秒〜数十秒待ってリトライ |
| 認証エラー(401/403) | 即座にエスカレーション(リトライ無意味) |
| サービス一時障害(503) | 指数バックオフで3回程度リトライ |
全パターンを同一のリトライ設定で処理すると、解決しない問題に対して無駄なリトライを繰り返し、処理遅延を招く。
4. 必ずログを残す
生成AIを組み込んだフローは、通常の自動化フローより予測不能な挙動をする可能性がわずかに高い。最低限、以下の4点をログとして記録しておくこと。
- 入力テキスト
- 生成AIが返した結果
- 結果の確信度(confidence)
- 実際に振り分けた先
この4点があれば、誤分類が起きた際に「モデルの問題か、プロンプト設計の問題か、想定外の入力パターンか」を後から切り分けられる。
5. コスト管理の仕組みを先に作る
API呼び出しはトークン数に応じて費用が発生する。テスト段階で意図せずループが生まれると、気づかないうちに大量のAPIコールが発生する。
最低限、以下を用意しておく。
- 日次のAPI呼び出し回数と概算コストを確認できる表(BIツールでなくても、表計算ソフトで十分)
- 異常な増加があったときに通知が届く仕組み
6. プロンプトインジェクションを想定した設計
外部から届く自由テキスト(問い合わせメールなど)をそのまま生成AIに渡す構成では、プロンプトインジェクションのリスクがある。本文中に分類ロジックを混乱させる指示文が紛れ込む可能性はゼロではない。
現実的な対策は「確信度が低い場合や、通常と異なるパターンが検出された場合は自動処理を停止して人が確認する」というセーフティネットを設けること。完全な防御は難しいが、これだけで誤動作の影響を限定できる。
7. 継続的な精度検証を運用サイクルに組み込む
業務内容やユーザーの問い合わせ傾向は時間とともに変化する。導入時点で高精度だったモデルが半年後には精度が落ちていることがある。
月に一度、処理された件数の中からランダムに30〜50件を抽出し、人が目視で分類結果の妥当性を確認するサンプリング検査が実用的だ。誤分類率が閾値(例: 5%)を超えたらプロンプトの見直しを行う、というルールをあらかじめ決めておくと、検証が形骸化しにくい。
まとめ
生成AI連携フローは「一度リリースすれば安定稼働し続ける」従来型のシステムとは性質が異なる。以下の7点を設計初期から意識することで、運用後のトラブルを大幅に減らせる。
- 出力は必ずバリデーションを挟む
- JSONで出力形式を厳密に固定する
- リトライは失敗の種類で分ける
- ログを必ず残す(最低4項目)
- コスト監視の仕組みを先に作る
- プロンプトインジェクションを想定したセーフティネットを作る
- 定期的な精度検証を運用サイクルに組み込む
Power Automateのフロー設計全般については、こちらの記事も参考にしてほしい。