Terraformを使ったNewRelicのアラート設定

やること

今回は、newrelic_nrql_alert_conditionを設定していきます。
特に詰まりそうな、部分を重点的に説明できるといいかなと思います。

ソースコード

簡単にterraform module化しているので、必要なかたはソースからダウンロードしてみてください。

• https://github.com/fnaoto/sample-terraform/tree/master/newrelic_alert

terraform provider について

参考URL

• https://registry.terraform.io/providers/newrelic/newrelic/latest/docs

NewRelicのprodiverでは、以下が必須の設定項目になっています。

• account_id (アカウントID)
  • NEW_RELIC_ACCOUNT_ID の環境変数で代用可能
• api_key (APIキー)
  • NEW_RELIC_API_KEY の環境変数で代用可能
  • NRAKから始まるキー
• region (リージョン)
  • US もしくは EU

provider "newrelic" {
  account_id = "<Your Account ID>"
  api_key = "<Your Personal API Key>"    # usually prefixed with 'NRAK'
  region = "US"                          # Valid regions are US and EU
}

newrelic_insights_event 以外は、基本的に api_key の設定でOKです。

newrelic_nrql_alert_condition について

これを使うと、NRQLを使って確認できるメトリクスであれば、ほとんどのアラートを設定できます。
ちなみに、 newrelic_alert_policy (policy) に対して、複数のアラートを設定可能です。

これの何が嬉しいかというと、
今までAPMとInfrastructureのアラートを設定するときは、 newrelic_alert_condition と newrelic_infra_alert_condition 2つのresourceを使い分けないといけなかったのですが、これがあれば 1つのresouceで設定可能 になります。
さらに、NRQLをそのまま使用できるので、既存のダッシュボードの設定から、View queryでNRQLをコピーしてそのまま貼り付けるだけでアラートをコード化できます。

参考URL

• https://registry.terraform.io/providers/newrelic/newrelic/latest/docs/resources/nrql_alert_condition

APMのSlow Queryアラートを設定してみる

where句に設定可能な、演算子(NRQL)はこちらを参照ください

• https://docs.newrelic.co.jp/docs/query-your-data/nrql-new-relic-query-language/get-started/nrql-syntax-clauses-functions#sel-where

newrelic_nrql_alert_condition の設定項目で難しいところ

• type
  • おそらく、どの条件でアラート設定をするかというもの
    • 参考: https://docs.newrelic.com/docs/alerts/new-relic-alerts/defining-conditions
  • baseline と outliner も設定可能だけど、通常のアラートであれば static でOK
• value_function
  • single_value と sum が設定可能、たぶんメトリクスの集計方法
    • single_value だと合計値じゃないので、メトリクスがないところはデータなしとなる
• violation_time_limit
  • この時間を設定していると、アラート発生から時間経過後になにかしらの自動設定が可能
  • ちなみに、TerraformのドキュメントにはDEPRECATEDと書いてあったけど、violation_time_limit_secondsのほうが、terraform plan時にDEPRECATEDになっていた、ドキュメントのミス？？
• nrql -> evaluation_offset
  • よくわからないけど、3分にしておく
  • グラフを表示するときに使う設定？
  • NRQLで設定したクエリの開始時間？？
• critical/warning -> threshold_occurrences
  • 閾値を超えた値の評価方法
    • all: すべての値が閾値を超えている
    • at_least_once: 1つ以上の値が閾値を超えている
  • value_functionでsumを選んだ場合は、 at_least_onceのみ設定可能

moduleのサンプル

modules/nrql_alert/main.tf

resource "newrelic_alert_policy" "alert" {
  name = var.name
}

resource "newrelic_nrql_alert_condition" "alert" {
  policy_id            = newrelic_alert_policy.alert.id
  type                 = var.type
  name                 = var.name
  value_function       = var.value_function
  violation_time_limit = var.violation_time_limit

  nrql {
    query             = var.query
    evaluation_offset = var.evaluation_offset
  }

  dynamic "critical" {
    for_each = var.critical
    content {
      operator              = critical.value.operator
      threshold             = critical.value.threshold
      threshold_duration    = critical.value.threshold_duration
      threshold_occurrences = critical.value.threshold_occurrences
    }
  }

  dynamic "warning" {
    for_each = var.warning
    content {
      operator              = warning.value.operator
      threshold             = warning.value.threshold
      threshold_duration    = warning.value.threshold_duration
      threshold_occurrences = warning.value.threshold_occurrences
    }
  }
}

modules/nrql_alert/variables.tf

variable "name" {
  type = string
}

variable "type" {
  type = string
}

variable "value_function" {
  type = string
}

variable "violation_time_limit" {
  type    = string
  default = "ONE_HOUR"
}

variable "query" {
  type = string
}

variable "evaluation_offset" {
  type    = number
  default = 3
}

variable "critical" {
  type = list(any)
}

variable "warning" {
  type    = list(any)
  default = []
}

module呼び出し側のサンプル

newrelic_alert/nrql_alert_mysql_slow_query.tf

module "nrql_alert_mysql_slow_query" {
  source         = "../modules/newrelic/nrql_alert"
  name           = "${local.name} slow query"
  type           = "static"
  value_function = "sum"

# query
## ヒアドキュメントを使うとわかりやすいので、おすすめ
## apm_app_name はAPMの設定で付けている名前に変更する

  query = <<EOF
   SELECT average(apm.service.datastore.operation.duration) * 1000 
   FROM Metric 
   WHERE  (appName = '${var.apm_app_name}') 
   AND ((metricTimesliceName = 'Datastore/operation/MySQL/show' AND datastoreType = 'MySQL')) 
   FACET `metricTimesliceName`
EOF

# critical
## operator は閾値の下か上かどちらでアラートを出すか
## threshold_duration は秒単位なので、 300secで5分

  critical = [
    {
      operator              = "above"
      threshold             = 10
      threshold_duration    = 300
      threshold_occurrences = "at_least_once"
    }
  ]

  warning = [
    {
      operator              = "above"
      threshold             = 5
      threshold_duration    = 300
      threshold_occurrences = "at_least_once"
    }
  ]
}

アラートの確認方法

Alerts & AI -> Polices -> newrelic-sample-default slow query

ちゃんとPreview chartが表示されていることを確認

Thresholdsの設定値も確認