はじめに
11/1に目黒で開催された「AWS 秋のObservability祭り 2024」に参加しました。
とても学びの多いイベントでした。
ただ、これまでいろいろとイベントや勉強会に参加してきたものの、学ぶことが多過ぎてどんどん忘れてしまうので、アウトプットして記録を残していこうと思いました。
イベントではCloudWatch Logs Anomaly Detectionが紹介されていました。
今回は、CloudWatch Logs Anomaly Detectionの紹介の中で気になった CloudWatch Logsの自動パターン検出とQuery generatorについてまずは書きます。
（CloudWatch Logs Anomaly Detectionは追って試していきます）
CloudWatch Logs 自動パターン検出
CloudWatch Logs Anomaly Detectionでログの異常検出をするのにあたっては、ロググループ内のイベントのパターン数が少ないとうまく検出できるとのこと（指標は300パターン以下）。
どうやってパターンを調べるのだろうかと思ったら、CloudWatch Logs Insightのクエリで準備されていました。
使ってみた
それでは、CloudWatch Logs Insigtで自動パターン検出をお試ししていきます。
CloudWatchのページでログのインサイトを選択
・ログのインサイトの画面で分析したいロググループを選択
・以下のクエリを入力
pattern @message
・クエリの実行をクリック
以上の操作だけでパターンの検出ができます。
※いつも使うログタブではなく、パターンタブを選択する必要があります
今回のお試しではパターンは1つだけでした。
パターン列のToken-Nをクリックすると、具体的な内容が確認できます。
以下の例はToken-4を選択したものです。
ログ内のHTTPメソッドの部分でした。
POST 63%、GET 37% といった比率まで見えました。
その他、Token-5ではエンドポイントのパターン分析がされていました。
いろいろ使えそうです。
CloudWatch Logs Insight の Query generator も使えそう
今回の操作を実施していて、クエリを入力するエリアの下にあるQuery generatorも気になって使ってみました。
プロンプト欄に抽出したい内容を記載して、新しいクエリをクリックするとクエリのエリアにクエリが生成されました。
”ERROR”を含むログを抽出。
5分間隔で発生回数を集約してカウント。
タイムスタンプの降順でソートして表示。
※英語で書かないと怒られましたので、Google翻訳で英語に翻訳したものを貼り付けました。
正直、Insigt用のクエリを覚えるのが億劫と感じていたのですが、これは便利だと思います。
クエリの実行結果がこちら。うまく抽出できました。
以上、今回はCloudWatch Logs Insigt の自動パターン検出をお試ししてみました。