More than 5 years have passed since last update.

監視データは宝の山!? Zabbixの監視データをいろんな視点から見てみる(Zabbixの標準機能で様々な統計値算出にチャレンジ)

Last updated at 2018-11-30Posted at 2018-11-30

今年もAdvent Calendarの季節ですね。ZabbixのAdvent Calendarの初日担当させていただきます。
全然枠埋まってないので皆さんぜひ！

初回は、Zabbixで監視したデータから、少し統計的な情報を取り出してみようというテーマです。
Zabbixは、監視したデータに対して四則演算したり、トリガー関数という形で計算処理できる機能が提供されていたりします。これらを使って生の監視データからどういった加工ができるのかをチャレンジしてみます。(結構無理やりなところがあるので、本当にやりたいならZabbixからデータを取り出してZabbix以外の分析が得意なツールとかにおまかせするのが良いと思いますが。。)

算出できるか試した値

単純移動平均値(Wikipedia)
- 単純に特定の期間の監視データの平均値を算出
- 使いみち
  - 監視データの平滑化
  - 次点の予測値として活用
加重移動平均値(Wikipedia)
- 特定の期間の監視データに対して、直近のデータに特に重みを多くつけつ、古いデータに重みを低めにつけて平均値を算出
- 使いみち
  - 監視データの平滑化
  - 直近の値に重みをつけた平均値を次点の予測値として活用
指数平滑移動平均値(Wikipedia)
- 特定の期間の監視データの平均に対して、一定の係数を掛けた値を順次計算して求める平均値
- 使いみち
  - 監視データの平滑化。
  - 加重移動平均・単純移動平均は特定の期間のデータのみを含んだ平均値となるが、指数平滑移動平均は常に前回の平均値に対する掛け算をして次の値を求めていくために過去の傾向をすべて反映した次点の予測値を算出
中央値(Wikipedia)
- 特定の期間の監視データの中で上位50%の位置にくる値
- 使いみち
  - 監視データに大小の偏りがある場合に見ると役立つかもしれない代表値
自己相関係数(Wikipedia)
- 時系列の監視データが過去の時間と相関関係がどのぐらいあるかの値
- 使いみち
  - 過去の監視データが未来の監視結果を予測するために活用できるかを判断するための指標
  - 監視データがどういう周期性を持っているかを確認するのに有効

統計値を算出する元のデータ系列

今回は擬似的にこんなデータを用意。

単純移動平均

計算式

tの時点における直近n個の監視データ(x)の単純移動平均値yの式

y_t = \frac{x_t+x_{t-1}+x_{t-2}+\cdots+x_{t-n}}{n}

算出の方針

トリガー関数のavgを利用し、直近x件の監視データの平均値を算出する計算アイテムを利用。

設定方法

10秒間隔で直近10個の監視データの平均を算出して監視結果として登録。

こんな感じで生データよりは平滑化されたグラフが得られます。
平均を算出する対象のデータの個数を増やせばもっと均されます。

加重移動平均

計算式

tの時点における直近n個の監視データ(x)に対し、直近の値に対する重みをnに設定して1ずつ重みを減らす場合の加重移動平均値yの式

y_t = \frac{n \times x_t+(n-1) \times x_{t-1}+ (n-2) \times x_{t-2}+\cdots+x_{t-n+1}}{n + (n-1) + (n-2) + \cdots + 2 + 1}

算出の方針

単純移動平均と同じくトリガー関数のavgを利用し、直近x件の監視データの平均値を算出する計算アイテムを利用。

設定方法

10個の監視データを一つずつ重みを変えて掛け合わせる式を記述します。
あまりシンプルにはかけないです。。

先程と同じく平滑化されてますね。

指数平滑移動平均

計算式

係数をαとした場合のtの時点における指数平滑平均値yの式

y_t = α \times x_{t-1} + (1 - α) \times y_{t-1}

算出の方針

最初、単純移動平均を求める計算アイテムとして登録(指数平滑平均の値を求めるには最初の1点の値は別の方法で算出した値をなにか設定しないといけないため)
途中から計算方法を変えて、前回の監視結果と前回の平均値から計算するアイテムを設定

設定方法

係数を0.2(20%)と設定した場合の設定例です。
初回のデータが何か登録されている必要があるので、最初は単純移動平均のときと同じようにavgで算出した設定値を登録し、その後以下の内容に変更しています。

少しいびつな感じですね。。

中央値

計算式

過去の監視結果個数n(偶数個)の中央値yの式

y_t = \frac{x_{t-\frac{n}{2}-1} + x_{t-\frac{n}{2}}}{2}

過去の監視結果個数n(奇数個)の中央値

y_t = x_{t-\frac{n+1}{2}-1}

算出の方針

percentile関数を使って50パーセンタイル値を算出する計算アイテムを利用

設定方法

percentile関数の第2引数で50%指定にすればOKです。

自己相関係数

計算式

監視結果n個に対し、ラグ(遅れ)がk個の自己相関係数yの式

y_t = \frac{(x_{k+1}-\bar{x})(x_1-\bar{x})+(x_{k+2}-\bar{x})(x_2-\bar{x})+\cdots+(x_{n}-\bar{x})(x_{n-k}-\bar{x})}{(x_{1}-\bar{x})^2+(x_{2}-\bar{x})^2+\cdots+(x_{n}-\bar{x})^2}