0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

k8s CronJob + SNS + Lambdaで作る疎結合な監視バッチ構成

0
Posted at

はじめに

この記事では、サーバーのディスク使用率を定期監視してSlackへ通知するアラート機能を実装したときの構成と、設計上の判断を整理します。

最終的な構成は次のとおりです。

k8sで動くバッチとAWSのマネージドサービスを組み合わせた構成で、それぞれを採用した理由と設定管理の方針についてまとめます。

なぜCronJobで定期実行するか

ディスク使用率の監視はイベント駆動ではなく定期確認で十分なユースケースです。

使用率が変化するタイミングで通知する仕組みも考えられますが、それにはメトリクス収集側でイベントを発行できる仕組みが必要になります。
今回はHTTPエンドポイントからメトリクスをポーリングする方式であったため、定期実行が現実的な選択でした。

k8s CronJobを選んだ理由は次のとおりです。

  • 既存システムがk8s上で稼働しており、追加インフラが不要
  • 定期実行のスケジュール管理をk8sに任せられる
  • 失敗時の再起動ポリシーをマニフェストで設定できる

毎時0分の実行頻度は、ディスク逼迫の検知から担当者対応までに求める速度感に合わせています。

k8s CronJob vs 他の選択肢

定期実行の手段として、EventBridge SchedulerやEventBridge Scheduler + Lambdaも候補に挙がります。

手段 向いているケース
k8s CronJob 既存インフラがk8s・アプリと同じコンテナで動かしたい
EventBridge Scheduler AWSだけで完結させたい・k8sがない
EventBridge Scheduler + Lambda 処理が軽量・常時起動不要

今回はアプリ本体がk8s上で動いており、同じ運用フローで管理できることを優先してCronJobを選びました。

なぜSNS経由でLambdaを起動するか

CronJobから直接Slackへ通知する構成もシンプルですが、SNSを挟む構成を選びました。

直送でよいケースとSNSを挟むべきケース

まず直送でよいケースを整理します。

  • 通知先がSlackだけで今後増える予定がない
  • 通知ロジックが単純で変更頻度が低い
  • 監視とSlack送信を一体で管理したい

次のケースではSNSを挟む価値があります。

  • 通知先が増える可能性がある(メール、PagerDutyなど)
  • 監視ロジックと通知ロジックを独立してデプロイしたい
  • Lambda失敗時のリトライやDLQで信頼性を高めたい

今回は将来的な通知先追加の可能性があり、監視バッチと通知処理を独立して変更できる構成を選びました。

SNSを挟んだことで得られたもの

監視処理と通知処理の責務を分離できます。
CronJobは「ディスク使用率を監視して異常を検知すること」に集中し、「どこへどのように通知するか」はLambdaに任せます。
通知先や通知文面の変更がCronJob本体に波及しません。

SNSに複数のサブスクライバーを追加するだけで、通知先を増やせます。

一時的なSlack障害や通知ロジックの変更が、使用率判定の処理に影響しない構成になります。

SNSには文面ではなく事実データを載せる

SNSを挟む場合でも、CronJob側でSlack向けの文面まで作ってしまうと責務分離が中途半端になります。
それでは「SNSを使っているが、通知の都合をCronJobが知っている」状態です。

この構成では、CronJobは「ディスク使用率が閾値を超えた」という事実だけをイベントとして送ります。
Slack向けの文面生成はLambda側の責務に寄せます。

この分け方にすると、次の変更がCronJobに波及しません。

  • Slackの文面変更
  • 通知先の追加
  • メールやPagerDutyなど別チャネルへの展開

SNSに載せる内容は「どう伝えるか」ではなく「何が起きたか」に寄せるのが扱いやすいです。

失敗時の設計

監視バッチでは「通知に成功したか」だけでなく「バッチ自体が動いているか」を担保する設計が重要です。

SNS Publish失敗時

CronJobがSNS Publishに失敗した場合、backoffLimit の回数までリトライされます。
上限を設定しないと無限にリトライするため、マニフェストで明示します。

jobTemplate:
  spec:
    backoffLimit: 3

Lambda失敗時

SNSからLambdaを呼び出す場合、Lambda側でイベント処理に失敗するとSNSが再試行します。
再試行回数や間隔はエンドポイント種別と配信ポリシーに依存するため、固定値で覚えるより「SNS設定によって再試行挙動が変わる」と捉える方が実態に近いです。
それでも配信できなかった場合に備えて、SNSサブスクリプション側にDLQ(Dead Letter Queue)を設定します。

# CloudFormationでSNSサブスクリプションにDLQを設定する例
DiskAlertSubscription:
  Type: AWS::SNS::Subscription
  Properties:
    TopicArn: !Ref DiskAlertTopic
    Protocol: lambda
    Endpoint: !GetAtt SlackNotifyFunction.Arn
    RedrivePolicy:
      deadLetterTargetArn: !GetAtt AlertDLQ.Arn

DLQに溜まったメッセージはCloudWatch Alarmなどで検知し、運用者へ別途通知する運用にします。

CronJob自体の失敗検知

CronJobが失敗した場合、ディスクが逼迫しても通知が来なくなります。
これは「通知が来ない = 問題がない」と誤認するリスクがあるため、ジョブ失敗時のアラートを別途設定します。

CloudWatch Logsなどのログ集約基盤にCronJobのログを出し、エラーログを検知したらアラートを上げる構成が現実的です。

設定管理の方針

設定は機密性と変更頻度によって管理場所を分けました。

設定内容 管理場所 理由
ディスク使用率の閾値 AWS Parameter Store 非機密・変更頻度が高い
メトリクスエンドポイントの認証情報 AWS Secrets Manager 機密情報
Slack Webhook URL AWS Secrets Manager 機密情報
AWSリージョン・ログレベル Lambda 環境変数 実行環境依存の設定

閾値はParameter Storeで管理することで、コードを変更せずに設定を更新できます。
Webhook URLや認証情報はSecrets Managerで管理し、ソースコードやマニフェストに直書きしない構成にしました。

Lambda環境変数には業務設定を置かず、実行環境に依存する情報のみを持たせています。

バッチ処理の実装(Go)

CronJobはCobraを使ったCLIとして実装しました。

起動時の処理の流れは次のとおりです。

func run(ctx context.Context) error {
    // Parameter Storeから閾値を取得
    threshold, err := getThreshold(ctx)
    if err != nil {
        return err
    }

    // メトリクスエンドポイントからディスク使用率を取得
    usage, err := fetchDiskUsage(ctx)
    if err != nil {
        return err
    }

    // 閾値を超えた場合にSNSへイベントを投下
    if usage > threshold {
        return publishAlertEvent(ctx, usage, threshold)
    }

    return nil
}

SNSには文面ではなく事実データをJSONで載せます。

type DiskAlertEvent struct {
    Host       string    `json:"host"`
    MountPoint string    `json:"mount_point"`
    UsagePct   float64   `json:"usage_pct"`
    Threshold  float64   `json:"threshold"`
    AlertType  string    `json:"alert_type"`
    DetectedAt time.Time `json:"detected_at"`
}

CronJobはSlackの存在を知らない状態にします。

Lambda実装(Node.js)

LambdaはSNSイベントを受け取り、文面を生成してSlack Webhookへ送信します。

exports.handler = async (event) => {
  const webhookUrl = await getSecret("disk-alert/slack/webhook");

  for (const record of event.Records) {
    const alertEvent = JSON.parse(record.Sns.Message);
    const message = buildSlackMessage(alertEvent);
    await sendToSlack(webhookUrl, message);
  }
};

function buildSlackMessage(event) {
  return {
    text: `【ディスクアラート】\`${event.host}\` の ${event.mount_point} 使用率が閾値を超えました`,
    attachments: [
      {
        color: "danger",
        fields: [
          { title: "使用率", value: `${event.usage_pct}%`, short: true },
          { title: "閾値", value: `${event.threshold}%`, short: true },
          { title: "検知日時", value: event.detected_at, short: false },
        ],
      },
    ],
  };
}

Webhook URLはLambda環境変数ではなくSecrets Managerから取得します。

k8sマニフェストの構成

CronJobのマニフェストの構成は次のとおりです。

apiVersion: batch/v1
kind: CronJob
metadata:
  name: disk-alert
spec:
  schedule: "0 * * * *"
  concurrencyPolicy: Forbid
  jobTemplate:
    spec:
      backoffLimit: 3
      template:
        spec:
          serviceAccountName: disk-alert-sa
          containers:
            - name: disk-alert
              image: your-registry/disk-alert:latest
              env:
                - name: ENVIRONMENT
                  value: "dev"
                - name: AWS_SNS_TOPIC
                  value: "arn:aws:sns:ap-northeast-1:xxxxxxxxxxxx:disk-high-usage"
                - name: THRESHOLD_PARAMETER_NAME
                  value: "/disk-alert/threshold"
          restartPolicy: OnFailure

次のポイントを設定しています。

  • concurrencyPolicy: Forbid:前の実行が終わっていない場合に重複起動しない
  • backoffLimit: 3:失敗時のリトライ上限を明示する
  • serviceAccountName:EKSではIRSAでSNS Publish/Parameter Store取得権限を付与する

まとめ

この構成のポイントは次の3点です。

定期実行の起点はk8s CronJobに任せます。既存インフラがk8sであれば、追加コストなく組み込めます。EventBridge SchedulerやEventBridge Scheduler + Lambdaも選択肢ですが、インフラを統一できる点でCronJobを選びました。

SNSを挟んで監視と通知の責務を分離します。直送でよいケースもありますが、通知先の拡張やリトライ設計が必要な場合はSNSを挟む構成が整理しやすくなります。

失敗時の設計を忘れずに入れます。バッチが動かなくなると「問題がない」と誤認するリスクがあるため、ジョブ失敗の検知とDLQの設定は最低限入れておくべきです。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?