1.はじめに
Log Analytics ワークスペースや Microsoft Sentinel を用いて、時系列グラフを作成しようとしたところ、意外にこれといったドキュメントが無かったので、備忘録で残しておきます。
前回では、summarize演算子を用いた際に列分割を利用して時系列グラフを作成しましたが、今回はmake-series演算子を用いて作成します。
make-series を用いることで、アノマリー演算子である series_decompse_anomaies に入れて異常値予測分析を行うことが出来るようになります。
2.やりたいこと
Log Analytics ワークスペースから Kusto Query (KQL) を用いてサクッと時系列グラフを作りたい。
時系列に任意のキーを集計表示して比較したい。
アノマリー（異常）分析などで異常値を判定したい [New]
- X軸に時間
- Y軸に集計値（特定のキー毎に集計する）
こんなイメージ
3.やってみる
make-series演算子を用いて、時系列軸の配列を作成します。
Log Analytics ワークスペースは Microsoft のデモ環境が提供されていますので、以下リンクから試してみてください。
Azure Log Analytics デモ環境
4.ポイント
4.1 make-series を用いて、時間軸(TimeGenerated)と対象グループ毎の集計配列を作成する
KQL だと以下の部分になります。option の step 宣言にて1時間毎の集計を行う際に HTTP ステータスコードのキー scStatus でグループ化しています。
| make-series Total=count() on TimeGenerated from datetime(2022-09-01) to datetime(2022-09-14) step 1h by scStatus
make-series の使い方は公式 Docs も併せて参照下さい。
make-series による集計を行うと、グループ化されたデータに基づいて配列型で結果を得ることが出来ます。
4.2 series_decompose_anomalies を用いて、集計配列から異常値を検出する
KQL だと以下の部分になります。こちらは 6節で詳しく解説します。
| extend (anomalies, score, baseline) = series_decompose_anomalies(Total , 1.5, -1, 'linefit')
5.サンプル
5.サンプル例
5.1 W3C IIS ログで、ステータスコード毎に時系列チャートを作成する
W3CIISLog
| project TimeGenerated, sIP, csMethod, csUriStem, scStatus
| make-series Total=count() on TimeGenerated from datetime(2022-09-01) to datetime(2022-09-14) step 1h by scStatus
| render timechart with(title="W3C IIS Log group by HTTP Status", ytitle="Counts")
例
-
make-series宣言の中で、scStatusフィールドでグループ化したデータからdatetimeで期間を設定し、stepで 1 時間単位で配列を作成します。 - 時間や配列間隔の値は
let宣言で変更・チューニングし易くするのがベストプラクティスです。
6.応用例 - アノマリー分析をやってみる
make-seriesは動的な配列として作成されるため、分析手法では統計・異常分析として追加の分析演算子を用いて解析を行うことが出来るようになっています。
有名な演算子としてseries-decompose-anomaliesfunction による異常検出が出来ます。
series-decompose-anomaliesfunctionでは、オプションを用いることで様々な分析をかけることが出来ます。
詳しくは上記の公式 Docs を参照して下さい。
| オプション | 概要 |
|---|---|
| しきい値 | 異常しきい値。既定値 1.5 (k 値) で、軽度またはそれ以上の異常を検出します。 |
| 季節性 | 季節分析を制御する整数。次のいずれかが含まれます -1: 季節性の自動検出 (series_periods_detect を使用) [既定値] 0: 季節性なし (つまり、このコンポーネントの抽出をスキップする)。 period: 予想される期間をビン数単位で指定する正の整数。 |
| 傾向 | 傾向分析を制御する文字列。 "avg": 傾向コンポーネントを系列の平均として定義する [既定値] "none": 傾向はありません。このコンポーネントの抽出をスキップします。 "linefit": 線形回帰を使用して傾向コンポーネントを抽出します |
make-seriesによる配列であれば、そのまま異常分析演算子であるseries-decompose-anomaliesfunctionにかけることが出来ます。以下線形回帰linefitを用いて、季節性の自動検出を有効にして分析した例です。
W3CIISLog
| project TimeGenerated, sIP, csMethod, csUriStem, scStatus
| make-series Total=count() on TimeGenerated from datetime(2022-09-01) to datetime(2022-09-14) step 1h by scStatus
| extend (anomalies, score, baseline) = series_decompose_anomalies(Total , 1.5, -1, 'linefit')
このクエリー結果を見ると、グループ化で時系列に配列したデータに対して "anomalies", "score", "baseline" といった結果を得られます。
戻り値は、異常分析の結果（アップ/ダウン）、スコア値、予測値を返します。
この値を見ながら、実際の異常検知などを活用することができるようになります。
| オプション | 概要 |
|---|---|
| ad_flag: | それぞれアップ/ダウン/異常なしをマークする (+1、-1、0) を含む三項系列 |
| ad_score: | 異常スコア |
| baseline: | 分解に従った、系列の予測値 |
このままだと、ad_flagやad_scoreなどの数値に対してフィルター条件がかけられないので、mv-expand演算子を用いて配列をレコードに変換します。
W3CIISLog
| project TimeGenerated, sIP, csMethod, csUriStem, scStatus
| make-series Total=count() on TimeGenerated from datetime(2022-09-01) to datetime(2022-09-14) step 1h by scStatus
| extend (anomalies, score, baseline) = series_decompose_anomalies(Total , 1.5, -1, 'linefit')
| mv-expand Total to typeof(double), TimeGenerated to typeof(datetime), anomalies to typeof(double), score to typeof(double), baseline to typeof(long)
すると、配列だったデータをレコード形式で表示することが出来ます。
ad_flagの値(+1)でフィルタすると、異常値としてカウントアップしたタイミングにフィルタすることが出来ます。
W3CIISLog
| project TimeGenerated, sIP, csMethod, csUriStem, scStatus
| make-series Total=count() on TimeGenerated from datetime(2022-09-01) to datetime(2022-09-14) step 1h by scStatus
| extend (anomalies, score, baseline) = series_decompose_anomalies(Total , 1.5, -1, 'linefit')
| mv-expand Total to typeof(double), TimeGenerated to typeof(datetime), anomalies to typeof(double), score to typeof(double), baseline to typeof(long)
| where anomalies > 0
Microsoft Sentinel でアラート通知を行う場合は、属性 (Entity) 情報を出した方が良いので、このタイミングでの送信元IPやUriなどを抽出すると良いのではと思います。
今回の IIS ログの例だと、以下のようなユースケースが考えられるのではないでしょうか。
- HTTP 200 のトレンドを越えた過剰な通信を検出する（リクエスト攻撃など）
- HTTP 4XX クライアントエラー数の異常性を検出する (404 などの特定コードに言及した異常値もあり)
- HTTP 5XX サーバー側エラー数の異常性を検出する
7. まとめ
Azure Monitor を用いてログを貯めている方は多いと思いますが、時系列チャートを作るテクニックがあまり紹介されていないので、簡単な手順としてまとめてみました。どなたかの参考になれば幸いです。
＊本稿は、個人の見解に基づいた内容であり、所属する会社の公式見解ではありません。また、いかなる保証を与えるものでもありません。正式な情報は、各製品の販売元にご確認ください。