はじめに
こんにちわ。Wano株式会社エンジニアのnariと申します。
最近、TerraformやLambda(Go)などを使ったMonitoring As Codeの話を記事にすることが多くなってきました。
今までは、リソースのステータスチェックシステム周りの話が多かったのですが、今回はメトリクスアラーム設定周りのIaCに関して記事にしていこうかなと思います。
過去のMonitoring As Code系記事
- ApexとTerraformとGoでAWS上に構築したCD Pipelineのステータスをslackに通知 - Qiita
- AWS AutoScalingで増減したEC2インスタンスに、動的にCloudWatchのAlarmをLambda(Go)で設定する - Qiita
- AWS CloudWatch Agent導入+LoadAverage送信cronをTerraformとuserDataで設定して、デフォルトのEC2メトリクスを補填する - Qiita
システム全体像
何故Monitoring As Codeしたいか
- 同じようなアラーム設定を手動で繰り返しやりたくない
- 異なる環境で設定を使いまわしたい
Terraformのソース
module(metrics alarm)
- 一つのSNS Topicが複数アラートと、複数通知先(slack,電話etc)を持てるように設計した
- 今回の場合は、通知先の前に必ずlambdaが挟まる想定で作っている
main.tf
//登録通知先が、全てlambdaの場合のみ使用可能なmodule
/* CloudWatch */
resource "aws_cloudwatch_metric_alarm" "this" {
count = length(var.cwa_objs)
/* required */
alarm_actions = [aws_sns_topic.this.arn]
ok_actions = [aws_sns_topic.this.arn]
alarm_name = var.cwa_objs[count.index]["alarm_name"]
comparison_operator = var.cwa_objs[count.index]["comparison_operator"]
evaluation_periods = var.cwa_objs[count.index]["evaluation_periods"]
threshold = var.cwa_objs[count.index]["threshold"]
metric_name = var.cwa_objs[count.index]["metric_name"]
namespace = var.cwa_objs[count.index]["namespace"]
period = var.cwa_objs[count.index]["period"]
statistic = var.cwa_objs[count.index]["statistic"]
alarm_description = var.cwa_objs[count.index]["alarm_description"]
dimensions = var.cwa_objs[count.index]["dimensions"]
/* optional */
tags = var.cwa_objs[count.index]["cw_tags"]
}
/* SNS */
resource "aws_sns_topic" "this" {
/* required */
name = var.sns_name
/* optional */
display_name = var.display_name
policy = var.policy
tags = var.sns_tags
}
resource "aws_sns_topic_subscription" "notify_to_slack" {
count = length(var.sns_topic_subscription_objs)
/* required */
topic_arn = aws_sns_topic.this.arn
endpoint = var.sns_topic_subscription_objs[count.index]["endpoint"]
/* optional */
raw_message_delivery = var.sns_topic_subscription_objs[count.index]["raw_message_delivery"]
protocol = "lambda"
}
/* Lambda permision */
resource "aws_lambda_permission" "default" {
count = length(var.sns_topic_subscription_objs)
statement_id = var.sns_topic_subscription_objs[count.index]["statement_id"]
action = "lambda:InvokeFunction"
function_name = var.sns_topic_subscription_objs[count.index]["endpoint"]
principal = "sns.amazonaws.com"
source_arn = aws_sns_topic.this.arn
}
variables.tf
/* CloudWatch */
/* required */
variable "cwa_objs" {
description = "通知したいアラームをここに詰める"
type = list(object({
alarm_name = string
comparison_operator = string
evaluation_periods = number
threshold = number
alarm_description = string
metric_name = string
namespace = string
period = string
statistic = string
dimensions = map(string)
cw_tags = map(string)
}))
}
/* SNS */
/* required */
variable "sns_name" {
description = "The name of the SNS topic to create"
type = string
}
variable "sns_topic_subscription_objs" {
description = "登録したい通知先内容をここに詰める(lambda限定)"
type = list(object({
endpoint = string
raw_message_delivery = bool
statement_id = string
})
)
}
/* optional */
variable "create_sns_topic" {
description = "Whether to create the SNS topic"
type = bool
default = true
}
variable "display_name" {
description = "The display name for the SNS topic"
type = string
default = null
}
variable "policy" {
description = "The fully-formed AWS policy as JSON"
type = string
default = null
}
variable "sns_tags" {
description = "A mapping of tags to assign to all resources"
type = map(string)
default = {}
}
moduleを使う側
- moduleを利用して、アラートと通知先の配列にひたすら設定したものを詰める
main.tf
/* metrics_alarm_to_slack */
module "laboon_metrics_alarm_to_slack" {
source = "../../../../modules/common/metric_alarm"
cwa_objs = local.metrics_alarm_to_slack_objs
sns_name = "laboon_stage_metrics_alert_to_slack"
sns_topic_subscription_objs = [
//この配列に通知先lambdaを追加する
{
endpoint = var.apex_function_laboon_stage_metrics_alarm_to_slack
raw_message_delivery = false
statement_id = "laboon_stage_metrics_alert_to_slack"
}
]
}
/* metrics_alarm_to_call */
module "laboon_metrics_alarm_to_call" {
source = "../../../../modules/common/metric_alarm"
cwa_objs = local.metrics_alarm_to_call_objs
sns_name = "hoge_metrics_alert_to_call"
sns_topic_subscription_objs = [
//この配列に通知先lambdaを追加する
{
endpoint = var.apex_function_hoge_metrics_alarm_to_call
raw_message_delivery = false
statement_id = "hoge_metrics_alert_to_call"
},
{
endpoint = var.apex_function_hoge_metrics_alarm_to_slack
raw_message_delivery = false
statement_id = "hoge_metrics_alert_to_slack_with_call"
}
]
}
/* metrics_alarm_to_slack required*/
metrics_alarm_to_slack_objs = [
//この配列にslackに通知したいメトリクス(not critical)を追加する
//LAMBDA
{
alarm_name = "start_execution(stepfunctions)lambdaの死"
comparison_operator = "GreaterThanThreshold"
evaluation_periods = "1"
metric_name = "Errors"
namespace = "AWS/Lambda"
period = "300"
statistic = "Average"
threshold = "0.0"
alarm_description = "start_execution(stepfunctions)lambdaの死"
dimensions = {
FunctionName = "hoge_start_execution"
Resource = "hogee_start_execution:current"
}
cw_tags = {}
},
//ECS/ContainerInsights
{
alarm_name = "CpuUtilized-for-hoge-ecs-task"
comparison_operator = "GreaterThanThreshold"
evaluation_periods = "2"
metric_name = "CpuUtilized"
namespace = "ECS/ContainerInsights"
period = "60"
statistic = "Average"
threshold = "60"
alarm_description = "CpuUtilized-for-hoge-ecs-task"
dimensions = {
TaskDefinitionFamily = "hoge-ad-fluentd-ecs"
ClusterName = "hoge-ad-cluster"
}
cw_tags = {}
},
...
/* metrics_alarm_to_call required*/
metrics_alarm_to_call_objs = [
//この配列に電話に通知したいメトリクス(critical)を追加する
//ELB
{
alarm_name = "hoge-ad500Error>0"
comparison_operator = "GreaterThanThreshold"
evaluation_periods = "1"
metric_name = "HTTPCode_Target_5XX_Count"
namespace = "AWS/ApplicationELB"
period = "300"
statistic = "Average"
threshold = "0.0"
alarm_description = "hoge-ad500Error>0"
dimensions = {
TargetGroup = "targetgroup/hoge-lb-target-group/xxxxxxxxxxxxxxxxxxx"
LoadBalancer = "app/hoge-aws-lb/xxxxxxxxxxxxxxxxxxx"
}
cw_tags = {}
},
...
Lambda(Go)のソース
slackに通知
- アラートの場合とOKの場合で内容を変える
main.go
package main
import (
"context"
"encoding/json"
"fmt"
"github.com/aws/aws-lambda-go/events"
"github.com/aws/aws-lambda-go/lambda"
"os"
. . .
)
type SNSMessage struct {
AlarmName string
NewStateValue string
NewStateReason string
}
func main() {
lambda.Start(metricsAlarmToSlackHandler)
}
func metricsAlarmToSlackHandler(context context.Context, event events.SNSEvent) (e error) {
webhookURL := os.Getenv("webHookUrl")
channel := os.Getenv("slackChannel")
snsMessage := &SNSMessage{}
err := json.Unmarshal([]byte(event.Records[0].SNS.Message), snsMessage)
if err != nil {
log.Error(err)
return err
}
if snsMessage.NewStateValue == "ALARM" {
title := snsMessage.AlarmName
slackIcon := ":sweat:"
slackName := "hogeのモニタリング:warning"
cwURL := fmt.Sprintf("https://ap-northeast-1.console.aws.amazon.com/cloudwatch/home?region=ap-northeast-1#alarmsV2:alarm/%v", title)
text := fmt.Sprintf(":cloudwatch: *WARNING* :cloudwatch: \n アラーム:%v\n 理由:%v \n url:%v", title, snsMessage.NewStateReason, cwURL)
messageLevel := slack_reporter.SLACK_MESSAGE_LEVEL_ALART
err = slack_reporter.ReportToSlack(webhookURL, channel, slackName, slackIcon, title, text, messageLevel)
if err != nil {
log.Error(err)
return err
}
return nil
}
title := snsMessage.AlarmName
slackIcon := ":nick:"
slackName := "hogeのモニタリング:ok"
cwURL := fmt.Sprintf("https://ap-northeast-1.console.aws.amazon.com/cloudwatch/home?region=ap-northeast-1#alarmsV2:alarm/%v", title)
text := fmt.Sprintf(":cloudwatch: *OK* :cloudwatch: \n アラーム:%v\n 理由:%v \n url:%v", title, snsMessage.NewStateReason, cwURL)
messageLevel := slack_reporter.SLACK_MESSAGE_LEVEL_OK
err = slack_reporter.ReportToSlack(webhookURL, channel, slackName, slackIcon, title, text, messageLevel)
if err != nil {
log.Error(err)
return err
}
return nil
}
電話で通知(amazon connect)
- Amazon Connectの設定はこちらがわかりやすい こちらの設定はTerraform対応がないので、手動でやる
- アラートの場合のみ電話をかける
main.go
package main
import (
"context"
"encoding/json"
"fmt"
"github.com/aws/aws-lambda-go/events"
"github.com/aws/aws-lambda-go/lambda"
"github.com/aws/aws-sdk-go/aws"
"github.com/aws/aws-sdk-go/aws/session"
"github.com/aws/aws-sdk-go/service/connect"
...
)
type SNSMessage struct {
AlarmName string
NewStateValue string
NewStateReason string
}
func main() {
lambda.Start(metricsAlarmToCallHandler)
}
func metricsAlarmToCallHandler(context context.Context, event events.SNSEvent) (e error) {
snsMessage := &SNSMessage{}
err := json.Unmarshal([]byte(event.Records[0].SNS.Message), snsMessage)
if err != nil {
log.Error(err)
return err
}
if snsMessage.NewStateValue != "ALARM" {
return nil
}
cnt := connect.New(session.New(), &aws.Config{Region: aws.String("ap-northeast-1")})
destinationPhoneNumber := "+81xxxxxxxxxxxx"
contactFlowID := "2877axxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx"
instanceID := "29f67xxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx"
sourcePhoneNumber := "+81xxxxxxxxxx"
attributes := map[string]*string{}
message := fmt.Sprintf("hoge 本番環境にて障害が発生しました。直ちに対応してください。エラー内容は、%v", snsMessage.AlarmName)
attributes["message"] = &message
input := &connect.StartOutboundVoiceContactInput{
DestinationPhoneNumber: &destinationPhoneNumber,
ContactFlowId: &contactFlowID,
InstanceId: &instanceID,
SourcePhoneNumber: &sourcePhoneNumber,
Attributes: attributes,
}
_, err = cnt.StartOutboundVoiceContact(input)
if err != nil {
log.Error(err)
return err
}
return nil
}
終わりに
まだ入門監視は全部吸収できていないので、まず要件を満たすものをざっと作ってしまい、後でしっかり読んでその観点からリファクタをproposalする(リソースメトリクスでガンガンアラートながしてしまったりしているので)
— nari@技術書典7📖 GoとAWSで作る本格slackbot (@fukubaka0825) August 9, 2019
今回はメトリクスアラーム周りのIaCの話を記事にしました。
最近ここら辺のタスクを業務で扱うことが出てきたので、そもそものクリティカルとそうでないものの区別や、リソースメトリクスのアラーム設定是非などに関してまだまだ考えがまとまっていないため、今回はとりあえず要件を満たす形で実装しました。 (ちょっとチェックボックス監視みがある。。)
これから運用していく中で、入門監視などから得た観点を整理して、リファクタしていこうと思っています(ここら辺もまた記事にします)
また、電話通知に関しては、エスカレーションや電話に出れなかった場合のリトライの実装などができていないため、対応ができ次第そこらへんも記事にしていこうかなと思います。
それにしても監視は面白い。これからもここら辺のタスクはガンガンやっていこうと思います(ビジネスKPI,SLOの設定絡みのとこもどんどんやりたい)