1. はじめに

Azure の各種ログを Rapid7 Insight IDR に接続してみたので、記録として残しておきます。Rapid7 Insight IDR との接続に関するブログや日本語の解説があまり無かったので、ニーズが有る方は本記事を参考としていただければと思います。
なお、接続は Azure Event Hub によるイベント処理サービスを仲介して接続する必要があります。

2. 構成

Azure と Rapid7 Insight IDR を接続する構成イメージは以下になります。

Azure 側から Rapid7 Insight IDR に受け渡す方式として Azure Event Hub を用います。直接 Azure Event Hub に各種ログを流し込むことも設定上可能ですが、今回は Log Analytic ワークスペースに保存しているログを Azure Event Hub にエクスポートする設定としています。
Rapid7 Insight IDR では、IaaS の Collector (Windows or Linux) を構築し、Collector が Outbound (TCP:9093) ポートで Azure Global (Internet) 経由で Azure Event Hub のデータを取得します

3. Azure Event Hub の注意点

Azure Event Hub を構成する際は、Kafka サービスに対応する Standard Tier 以上が必要です。また Event Hub は TU (Throughput Unit) といった処理能力毎の課金体系となっており、イベント量に応じた TU を設定する必要があります。
TU の値は 1TU で以下になります。

方向	処理能力
Ingress	1MB/sec or 1000 Events/sec (どちらか達した方）
Egress	2MB/sec or 4096 Events/sec (どちらか達した方）

4. 試してみる

4.1 Azure Event Hub 側設定

4.1.1 Azure Event Hub の作成

Azure Event Hub の名前空間 (Namespace) を作成し、TU をアサインします。

TU の値は Azure Event Hub 作成後は「スケーリング」設定から変更が可能です。

4.1.2 共有アクセスポリシーの作成

Rapid7 Collector は共有アクセスポリシーのキー認証を用いて接続します。
最小権限であるリッスン要求に対するキーを用います。

接続文字列は以下フォーマットになっています。

Endpoint=sb://<NamespaceName>.servicebus.windows.net/;SharedAccessKeyName=<KeyName>;SharedAccessKey=<KeyValue>

4.1.3 Azure Event Hub の作成

Log Analytics ワークスペースからエクスポートする Event Hub を作成します。

4.2 Log Analytics ワークスペースから Azure Event Hub にエクスポートする

ログソース側で直接 Azure Event Hub にエクスポートすることが出来る種類もありますが、ここでは汎用的にログを溜める Log Analytics ワークスペースにデータが集約されていることを想定して、エクスポート設定を行っています。

ログのエクスポートはテーブル単位で設定が出来ます。

一部のテーブルについては、データエクスポートがサポートされていないのでご注意下さい。

4.3 Rapid7 Insight IDR 側の設定

Rapid7 Insight IDR 側では Collector をセットアップして、Insight IDR のポータルサイトから設定を行います。ここでは Collector がセットアップされている前提とします。

DATA COLLECTION の Event Sources より、「Add Event Source」
種別で「Microsoft Azure」を選択
Event Sources 設定で、Azure Event Hub の共有アクセスポリシーの接続文字列を設定する
接続に用いる Rapid7 Collector を設定する
Endpoint / Credential の設定を行う

5. 接続確認

5.1 Azure Event Hub 側

Azure Event Hub 側では、Rapid7 Collector がデータ受信することで、Incoming/Outgoing Messages の値が均等に取得出来ていることが分かります。

5.2 Rapid7 Insight IDR 側

Rapid7 Insight IDR 側では、Collector 側の統計画面でデータの取得状況が可視化されます。
データ取得が確認出来れば、Rapid7 Insight IDR 側でクエリー検索が可能になります。

5. まとめ

Azure 側では Azure Event Hub を通じて 3rd Party との接続を提供していますが、用語が分かり難い部分や、認証をどの方式で設定するのかは各ベンダー側とのインテグレーションが必要です。今回は Rapid7 側で提供されているドキュメントが分かりやすく、参考としました。本記事がどなたかの参考になれば幸いです。

＊本稿は、個人の見解に基づいた内容であり、所属する会社の公式見解ではありません。また、いかなる保証を与えるものでもありません。正式な情報は、各製品の販売元にご確認ください。

参考情報