１、はじめに
企業ポリシーやコンプライアンスなどにより、ログの長期保存が要件になることがよくあります。今回は Log Analytics や Microsoft Sentinel に集約したログを Azure Data Explorer にエクスポートして永年保存する方法をご紹介します。
２、Log Analytics ワークスペース
Log Analytics ワークスペースでは、最長7年間のログ保持が可能です。しかし、KQL にて分析できる分析ログの保持期間は最長2年間 (730日) までとなっています。
Log Analytics ワークスペースは、分析ログとアーカイブログの合計で最大7年間のログ保持が可能です。2年以上ログを Log Analytics ワークスペースに保持したい場合は、アーカイブログを活用してログを保持します。
分析ログ、アーカイブログの設定方法はこちらのドキュメントを参照してください。
例えば、下記 Azure アクティビティログ の設定では、[対話型の保持] を 90日、[保持期間の合計] を 7 年とすることで、[分析ログ] が90日、[アーカイブログ] を2466 日保持することができるようになります。
しかし、7年以上ログを保持したい場合や、730日以降のログも KQL で分析したい場合、Log Analytics ワークスペースだけでは要件を満たすことができません。KQL で分析できるログを永年保持したい場合は Azure Data Explorer にログを保持することで、その要件を満たすことができます。
３、Azure Data Explorer とは
-
Azure Data Explorerとは
Azure Data Explorer は、大量のデータをほぼリアルタイムで簡単に分析できるようにする、フルマネージドかつハイパフォーマンスなビッグデータ分析プラットフォームです。Log Analytics ワークスペースと同じように KQL によるログ分析が可能なため、Microsoft Sentinel で利用している Hunting クエリもそのまま実行することができます。
４、構成方法
Log Analytics のデータエクスポート機能を利用し、イベントハブ経由で Azure Data Explorer にログをエクスポートします。
Log Analytics のデータエクスポートは、ワークスペースへの書き込みと並列でストレージアカウントやイベントハブにデータをエクスポートする機能です。データはフィルターなしでエクスポートされるため、データ改ざんが起きる心配もありません。
５、セットアップ
それでは、Log Analytics ワークスペースのログを ADX (Azure Data Explorer) にエクスポートしてみましょう！
こちらがセットアップ全体の流れです。(Log Analytics ワークスペースは作成済み)
- ADX を作成
- Event Hubs の作成
- Log Analytics のデータエクスポート設定
- ADX でテーブル作成とテーブルマッピング
- ADX でデータ接続設定
5.1 ADX の作成
Azure Portal から ADX を作成してください。
コンピューティングのワークロードは、運用環境に応じてサイズを選択してください。仮想マシンのスペックにより KQL 実行のパフォーマンスに影響があります。要件に応じて可用性やスケールの設定をしてください。
今回は検証用途のため、[開発/テスト] を選択します。
次に ADX にデータベースを作成します。作成して ADX にアクセスし、データベースを追加します。
保持期間(日数) で 日数無期限の保持期間 を有効にすることで、KQL 分析可能なログを永年保管することが可能です。パラーメーターの詳細はドキュメントをご確認ください。
5.2 Event Hubs の作成
次に Event Hub を作成します。
Event Hubs の価格設定によりメッセージの保持期間などが異なりますので、要件に合わせて選択してください。
今回は検証用途のため、[Basic] 価格を選択します。
5.3 Log Analytics データエクスポートの設定
Log Analytics のデータエクスポートは、ストレージアカウントと Event Hub にログを転送することができる機能です。
Log Analytics ワークスペースのすべてのテーブルはサポートされておらず、こちらの一覧に記載のテーブルのみをエクスポートできる点にご注意ください。現時点ではサポートされていなくても、将来的にサポート対象になった時点で、テーブルのデータをエクスポートすることができるようになります。
作成済みの Log Analytics ワークスペースから、データエクスポート を選択して、新しいエクスポートルールを作成します。
ここでエクスポートするテーブルを選択します。
ここでエクスポート先として イベントハブ を選択してください。
すべてのパラメーターを設定したら、エクスポートルールを作成します。
5.4 ADX でテーブルの作成とテーブルマッピング
Log Analytics からデータをインポートするテーブルを ADX に作成します。ADX にテーブル作成とテーブルマッピングを実施するクエリを生成する Powershell スクリプトが提供されているため、そのスクリプトを利用します。
Raw データで表示し、右クリックから ps1 ファイルをダウンロードするのが簡単です。
このスクリプトでは、下記のパラメーターの入力が求められるので、事前に確認しておくとよいです。
- テーブル名
- Workspace ID
Workspace ID は Log Analytics ワークスペースのエージェント管理から確認できます。
準備ができらた Cloud Shell や ローカルPC でダウンロードしたファイルを実行します。
パラメーターを入力すると、緑色で表示された文字が ADX にテーブル作成、テーブルマッピングするクエリです。コピーしてください。
次に、ADX に作成したデータベースに移動します。
クエリを選択して、対象のデータベースをターゲットにコピーしたクエリを1つずつ実行します。
そうすることで、選択したデータベースに2つのテーブルが作成され、スキーマも構成されます。
エクスポートするテーブルごとにスクリプトを実行して、ADX にテーブルを作成してください。
5.5 ADX でデータ接続設定
最後に Event Hub から ADX にデータを取り込み設定をすれば完了です。
ADX のデータベースから データ接続 を選択し、データ接続の追加 をします。
データ接続のパラーメーターを下記のように入力して作成します。イベントハブはデータエクスポートルールを設定した際に作成されたものを利用します。本環境の例だと am-securityevent がデータエクスポートルール作成した際に作成されました。
これで設定は完了です。
複数のテーブルをエクスポートした場合は、同様に データ接続 を作成してください。
６、Azure Data Explorer からクエリの実行
ADX から先ほど作成したテーブルに対してクエリを実行することで、Log Analytics のテーブルを検索する方法と同様に同じクエリでログ分析を実施することができます。
-
ADX のテーブルを検索
-
Log Analytics ワークスペースのテーブルを検索
７、まとめ
Log Analytics にまとめたログを ADX にエクスポートすることで、永久的に KQL によるログ分析を実現することができます。
Sentinel 利用時に無償で保持できる90日までのログを保管し、ADX に KQL 分析できるログを永年保管することで、Sentinel のデータ保持料金を抑えつつ、永年保管したログを KQL で分析することができるようになります。
ご要件に合わせて、最適なログ保持環境を準備してください！