本記事について
本記事では、Microsoft Build 2024 でパブリックプレビューとなった Microsoft Fabric の Real-time Intelligence / Real-time Hub の中の Eventstream (イベントストリーム) を試してみたいと思います。
題材としては、Entra ID (顧客向け Entra ID) のログを Event Hubs 経由で Fabric の Lakehouse と Eventhouse に送るシナリオを見ていきます。(実際の利用では送り先は Lakehouse or Eventhouse を選ぶことになるかと思いますが、本記事では一度に両方に送る形で構成してみます。)
下記記事で、顧客向け Entra ID のログ分析を行う手法をいくつかご紹介しましたが、Real-time Intelligence を活用することで、リアルタイムで Fabric にデータを取りこみ分析できるようになります。
事前準備
Microsoft Fabric に入る前に、いくつかリソースを事前に用意しておきます。
Event Hubs の準備
Microsoft Fabric と同じテナントにある Azure サブスクリプションに Event Hubs (Event Hubs 名前空間と Event Hub) を用意しておきます。
また、今回は顧客向け Entra ID を使うため、そのテナントに対して Lighthouse で権限委任を行い、顧客向け Entra ID 側から、その Event Hubs を操作できるようにします。
顧客向け Entra ID の診断設定
Entra ID の診断設定で、対象の Event Hub に対してログを送るように設定しておきます。
Microsoft Fabric の構成
Fabric でワークスペース、Lakehouse, Eventhouse をそれぞれ準備しておきます。
Eventstream の作成
Event Hubs からデータを受け取り、Lakehouse や Eventhouse に送信する Eventstream を作成します。
source として、Azure Event Hubs を選び、コネクションを作成します。
destination として、準備した Lakehouse と Eventhouse を追加します。それぞれテーブルを新規で一つ作成します。そのままでも、データを送ることはできますが、Entra ID のログは records 欄に配列で複数レコード入るようになっています。これでは分析がしづらいので、Event processing editor で、配列を各レコードに分けるようにします。editor を開き、Eventstream と Lakehouse / Eventhouse の間に operations の expand を追加します。そして、records の配列を分割します。(そして、Lakehouse 側は、その後の処理を一個追加し Manage fields の操作で ArrayValue_records の Type を String にしておきます。)
それらの設定が完了すると、下記のようなフローが出来上がります。
今回は editor で配列の分解のみを行いましたが、フィルター処理やフィールドの追加なども行えるので、実際のシーンではそれらを利用したほうが後々分析をしやすくなります。
Lakehouse と Eventhouse でのデータの確認
Eventstream で新規作成したテーブルにデータが格納されていることを確認します。
Lakehouse
Lakehouse 側では、SQL でクエリを実行します。
Eventhouse
Eventhouse の KQL Database のテーブルに対しては、Kusto クエリをかけることができます。たとえば下記のように見ることができます。
それぞれのデータは Power BI をはじめ、Fabric の各種分析・可視化ツールで活用できます。
最後に
＊本稿は、個人の見解に基づいた内容であり、所属する会社の公式見解ではありません。また、いかなる保証を与えるものでもありません。正式な情報は、各製品の販売元にご確認ください。