Cloud Monitoringからのアラート連携を整理してみた #GoogleCloud

GoogleCloud上にアプリケーションを構築して、その監視にCloudMonitoringを使うことが多いです。
ただ、毎回設定で悩むところがあるため、ここで改めて整理することにしました。

Cloud Monitoringとは

Google Cloud のオペレーションスイート（旧称 Stackdriver）の機能群の一つです

公式の引用

Cloud Monitoring では、クラウドで実行されるアプリケーションのパフォーマンスや稼働時間、全体的な動作状況を確認できます。Google Cloud サービス、ホストされた稼働時間プローブ、アプリケーションインストゥルメンテーション、その他のさまざまなアプリケーションコンポーネントから、指標、イベント、メタデータを収集します。このデータをグラフやダッシュボードで可視化して、指標が想定の範囲外になったときに通知されるようアラートを作成できます。

要は、GoogleCloudの様々なデータで監視をしてくれるということです。
「様々なデータ」についてここで詳しくは言及しませんが、Google Cloud リソースのCPU使用率やAPIリクエスト数といったものだったり、Cloud Loggingへの出力を任意の条件で絞り込んだ「ログ指標」など、広く利用可能です

「指標が想定の範囲外になったときに通知されるようアラートを作成できます。」が今回のメイントピックです。
全体の動きとしてはこちらの図のようなイメージになってきます。

アラート設定の使い方

アラート設定は「何が(どの指標が?)」「どうなった時(想定の範囲外とは?)」を定義してあげて、その状態になったときに任意の相手に通知するというものです。
「何が(どの指標が?)」については、CPU利用率であったり通信のドロップ数(率)であったり、目的が明らかであれば特に選ぶのは難しくないと思います。

一方で、「どうなった時(想定の範囲外とは?)」についてはやや複雑になってきます。
ここでは以下の概念を把握する必要があります

ローリングウィンドウ
指標の評価をする期間を設定するパラメータです。
以下、公式ページの図が、イメージをつかむのに良さそうでした。

ここでは、ローリングウィンドウを5分間とした時に、どのタイミングの指標値を評価対象に含めるかということを示しています。
丸でプロットされたところが青色になっているのが、評価対象ということを示しています。
5分間のローリングウィンドウでは、直近5分での値を評価値として1分ごとにスライドしていきます。

したがってそれぞれのタイミングで評価に使われる値は以下となります。
・start の時 : [0,0,0,0,1]
・start + 1mの時 : [0,0,0,1,1]
・start + 2mの時 : [0,0,1,1,1]

なお、設定できるウィンドウは最短1分で、1秒単位で設定可能です。

ローリングウィンドウ関数
ローリングウィンドウの値を取り扱う関数(計算方法)を選択します。
代表的なものだとsum(合計)、count(データ個数) mean(平均値) などがあります。
先ほどの図の例で行くと、以下のように取ることができます。

・start の時 : [0,0,0,0,1] => sum = 1
・start + 1mの時 : [0,0,0,1,1] => sum = 2
・start + 2mの時 : [0,0,1,1,1] => sum = 3

アラート条件
上記、ローリングウィンドウとローリングウィンドウ関数により算出される値がどうなった時にアラートを発砲するかを決めます。
「閾値(Threshold)」または「Metric absence(不在条件)」による設定となります。
・閾値: 任意の閾値を設定し、監視により算出された値が閾値を上回った場合にアラートを発砲する
・不在条件: 任意の期間を設定し、その期間に監視データが無かった場合にアラートを発砲する