はじめに
生成AIの活用事例としてよくある、顧客・社内向けのチャットボットのリファレンスアーキテクチャについてMicrosoftのドキュメントをベースに紹介していきます。実際に自分でも環境構築しながら気づいた点を追記することでできるだけ分かりやすく！を目指します。
AIチャットボットのリファレンスアーキテクチャ
以下のようなAIチャットボットをエンタープライズユースで求められる要件を考慮した上で構築していきます。デモでは日本の首相は誰ですかという問いに対して、Wikipediaをソースとした回答を作成しています。
アーキテクチャダイアグラム
アプリケーションは以下のような構成でAzure上に構築していきます。本リファレンスアーキテクチャを使用したサンプルチャットアプリはMicrosoftがGitHubで公開しており、Readmeの手順に沿ってデプロイすることができます。この記事では実際にデプロイした環境を画面と共に紹介することで理解を深めていきます。Microsoftのドキュメントも合わせてご確認ください。
リファレンスアーキテクチャの各コンポーネントについては（1）バックエンド（プロンプトフロー）、（2）フロントエンド（チャットUI）、（3）ネットワーク・セキュリティに分類してご紹介していきます。
バックエンド（プロンプトフロー）
生成AIチャットボットにおけるバックエンドは、ユーザーのクエリに対する回答をデータやLLM、外部サービス（API）を活用して生成する処理を実施し、プロンプトフローがそれらの処理のオーケストレーターとなります。バックエンドを支える主なAzureサービスとして以下があります。
| サービス名 | 本構成における主な役割 |
|---|---|
| Azure Machine Learning | プロンプトフローの構築、ホスティング |
| Azure OpenAI Service | LLMの提供 |
| Azure AI Search | 検索によって回答生成に必要なデータを提供 |
| Azure Storage | 構築したプロンプトフローの保存領域 |
| Azure Container Registry | プロンプトフローのパッケージ管理 |
ここではバックエンドの中核となるプロンプトフローについて実際の画面と共にご紹介します。右側が全体のフローの流れを表し、左側に各コンポーネントのコードを表示しています。
今回の例では（1）ユーザーの質問から検索したいクエリを抜き出す（extract_query_from_question）、（2）Wikipediaで検索する（process_search_result）、（3）検索結果をもとに回答を作成する（augmented_chat）、の順に処理を実行しアウトプットを生成します。実際にプロンプトフローを使ってみて私が感じたメリットは以下3点です。
- テストが容易：GUIでオーケストレーターを構築することができ、テスト用のChat UIを使ってその場でテストできる
- オーケストレーターを簡単にホストできる：画面左上のペインから各種ツールを呼び出すことができ、LangChainやSemantic Kernelといったオーケストレーションツールもすぐに活用することができる。自前で実行環境を用意する必要がない
- テンプレートがありすぐに実装可能：以下の図のようにQ&A on Your DataやChat with Wikipedia、Q&A Evaluationなどすぐに実装できるテンプレートが複数提供されている。今後充実していくことが見込まれる。
フロントエンド（チャットUI）
生成AIチャットボットにおけるフロントエンドは、ユーザーとバックエンドへのインプット/アウトプットの間を支えるインターフェースとしてのチャットUIになります。フロントエンドを支える主なAzureサービスとして以下があります。
| サービス名 | 本構成における主な役割 |
|---|---|
| Azure App Service | チャットアプリケーションをホスト |
| Azure Monitor Application Insights | アプリケーションのパフォーマンス監視 |
ネットワーク・セキュリティ
ユーザーのクラウド上のAIチャットボットへのセキュアな通信を提供します。主なAzureサービスとして以下があります。
| サービス名 | 本構成における主な役割 |
|---|---|
| Microsoft Entra ID | ユーザーIDの管理 |
| Azure Application Gateway | パブリックIPからの単一のエンドポイントとしてトラフィックを管理 |
| Virtual Network | Azure内の仮想プライベートネットワークを構成 |
| Private DNS zone | プライベートエンドポイントの名前解決 |
ユーザーIDの管理（Microsoft Entra ID）
ユーザーはパブリックネットワークを介してチャットUIへアクセスするのでIDによる認証フローを実装することで外部からのアクセスを制限します。Microsoft Entra IDを活用してアプリケーションへのアクセスの認証フローを実装します。以下のAzure Portalの画面のようにAzure App Serviceに認証ペインからIDプロバイダを設定し、認証を追加することができます。
ネットワーク
Azure Application Gatewayによってクライアントトラフィックの単一で安全なエントリポイントを提供します。主なセキュリティ観点の提供機能は以下です。
Web Application Firewall（WAF）のポリシーを構成し、Web攻撃を軽減
-
以下の図はリファレンスアーキテクチャでデフォルトで構成されたポリシーです。Microsoftにより提供されているマネージドポリシー（1）ボットからの攻撃保護のためのポリシー、（2）Open Web Application Security Project (OWASP) が特定した脆弱性に対するベースラインセキュリティを提供するためのポリシーが設定されていました。
-
エンドツーエンドTLS暗号化
HTTPSを使用して転送中のデータを暗号化するための仕組みを提供します。
またAzureサービス間の通信はプライベートエンドポイントによりパブリックIPアドレスを指定を使用せずにプライベート仮想ネットワークから直接Azure PaaSサービスにアクセスできます。さらに仮想ネットワークのセグメント化により通信を必要なトラフィックのみに制限します。以下の図のようなサブネットが構築され、各サブネットに紐づけられたセキュリティグループによって受信と送信のトラフィックの規則を設定していることが確認できます。
まとめ
AIチャットボットのリファレンスアーキテクチャの主要なコンポーネントについて説明しました。Azure Machine Learning Prompt Flowは現在プレビュー中ですが、テンプレートからのフローの構築や評価・テスト、ホスティングなどGUIから行うことができ、Azure上で生成AIアプリを構築する場合には活用必須だと感じました。フローのエクスポート/インポートも可能なため、構築したフローを別の環境にも転用できる点も有効で生成AIアプリのオーケストレーターの開発が捗りそうです。