開発環境を劇的に良くするCloudWatch術

はじめに

開発環境でこんな経験はありませんか？

「システムのパフォーマンスが急に低下して原因がわからない…」
「Slackにエラー通知システム入れてみたけどログが分かりにくい…」
「エラーが発生したけど、どこをチェックすればいいのかわからない…」
「リアルタイムでログを監視して、即座に対応したい…」

これらの悩み、まさに多くの開発者が抱えるものですよね。

そんな皆さんに朗報です！
AWSのCloudWatchを活用すれば、これらの問題を解決し、開発環境を劇的に改善することができます。
今回は、CloudWatchの「サブスクリプションフィルター」「ライブテール」「Logsインサイト」といった機能を使って、効果的にシステムの監視を行う方法をご紹介します。

どのようなことができるのか

例えば、CloudWatchの「サブスクリプションフィルター」を使えば、特定のログイベントをリアルタイムでキャッチし、自動的に通知を送るシステムを作ることができます。

サブスクリプションフィルターを活用してLambdaでエラー通知の内容を整形することも可能です。
これにより、エラー内容がより見やすくなり、ログ調査の負担が大幅に軽減されます。

サブスクリプションフィルター

サブスクリプションフィルターは、CloudWatch Logs内のロググループに対してリアルタイムで特定の条件に一致するログイベントをキャプチャし、他のAWSサービスに転送するための設定です。
この機能を利用することで、ログデータをリアルタイムで処理し、必要なアクションを自動化することが可能になります。
つまり、サブスクリプションフィルターは特定のログが出た時にLambdaを起動できたりします！（Lambda以外もできます。）

基本概念

項目	説明
ロググループ	ログのコレクションをグループ化するためのコンテナ。ロググループは、アプリケーションやサービスごとに作成されます。
ログストリーム	各ロググループ内の個別のログファイル。例えば、EC2インスタンスやLambda関数ごとに作成されます。
フィルターパターン	特定のログイベントを識別するための条件。フィルターパターンは、JSON形式のログデータを解析し、特定のフィールドや値に基づいてログイベントをキャプチャします。
宛先	フィルターパターンに一致したログイベントを送信する先。典型的な宛先には、AWS Lambda関数、Amazon Kinesisストリーム、Amazon Elasticsearch Serviceなどがあります。

使用方法

マネージドコンソールから簡単に使用することができます。
ロググループを選択し、サブスクリプションフィルターボタンを押します。
今回はLambdaを例に説明します。

事前にLambdaを作成してARNがある状態にしてください。

サブスクリプションフィルターの設定は、以下のステップに従って行います。

Step1: ロググループの選択

サブスクリプションフィルターを設定したいロググループを選択します。

Step2: フィルターパターンの作成

キャプチャしたいログイベントに対応するフィルターパターンを作成します。例えば、エラーログをキャプチャする場合、ERRORや特定のエラーメッセージに一致するパターンを指定します。

Step3: 宛先の設定

フィルターパターンに一致したログイベントを送信する宛先を指定します。ここでは、AWS Lambda関数やKinesisストリームなどを設定します。

Step4: フィルターの適用

設定を保存し、サブスクリプションフィルターを有効化します。

マネージドコンソール画面操作

LambdaのARNを設定してください。フィルターに指定した文字が出た場合にLambdaが起動します。

次にフィルターの条件を指定します。今回は「ERROR」という文字が含まれる場合に動くようにします。

パターンテストは実施しなくても作成することができます。今回は省略して「ストリーミングを開始」を押します。
これでサブスクリプションフィルターの設定は完了です。
「ERROR」というログが出た場合に指定したLambdaが動く設定ができました。

Lambdaサンプル

AWS CloudWatch Logsのサブスクリプションフィルターを使用してログデータを処理するAWS Lambda関数のサンプルです。このLambda関数は、サブスクリプションフィルターによって送信された圧縮ログデータを受信し、解凍して解析します。

exports.handler = async (event) => {
  console.log(`EVENT: ${JSON.stringify(event)}`);
  console.log(event.awslogs.data);
  const decordData = Buffer.from(event.awslogs.data, "base64");

  // GZIP 圧縮されたデータを非同期にデコード
  const decompressedData = await new Promise((resolve, reject) => {
    zlib.unzip(decordData, (err, buffer) => {
      if (err) {
        reject(err);
      } else {
        resolve(buffer.toString("utf-8")); // デコードされたデータを文字列として解析
      }
    });
  });
  console.log(decompressedData);
  const parsedData = JSON.parse(decompressedData);

  console.log("デコードされたデータ:", parsedData);
}

AWS CloudWatchのサブスクリプションフィルターを利用することで、ログデータをリアルタイムで処理し、効率的なログ管理と監視を実現できます。
AWS Lambdaを活用することで、特定の条件に一致するログイベントに対するリアルタイムな対応が可能となり、システムの信頼性向上や迅速な問題解決が期待できます。

CloudWatch ライブテール

AWS CloudWatchのライブテール機能は、CloudWatch Logsでリアルタイムにログを監視するための機能です。
これにより、アプリケーションの動作状況を即座に確認し、問題が発生した際に迅速に対応することができます。開発や運用の場面で非常に有用なツールです。
つまり、CloudWatch ライブテールはログを探しに行くことなく、リアルタイムにログを監視することができます。
AWS SUMMIT 2024のミニステージで初めて知った機能で、使いやすく開発効率も大幅に上がったためおすすめです。

ライブテールの使用例

1. 開発中のアプリケーションのデバッグ

新しいコードをデプロイした後、そのコードが期待通りに動作しているかをリアルタイムで確認することができます。エラーメッセージやデバッグ用のログを即座に確認できるため、問題の特定と修正が迅速に行えます。

2. パフォーマンス監視

アプリケーションのパフォーマンスに関するログをリアルタイムで監視し、パフォーマンスのボトルネックや異常を早期に発見することができます。これにより、必要な調整を迅速に行うことができます。

3. セキュリティ監視

セキュリティ関連のログイベント（例：アクセス拒否、異常なログイン試行など）をリアルタイムで監視することで、セキュリティインシデントに対する迅速な対応が可能になります。

マネージドコンソール画面操作

こちらも使用方法は非常に簡単です。
AWS Management Consoleにログインし、サービス一覧から「CloudWatch」を選択します。
CloudWatchコンソールの左側のメニューから「ライブテール」を選択します。

ライブテールで出力したいロググループを選択します。最大10個のロググループを出力することができます。

CloudWatchのライブテール機能を使うと、リアルタイムで複数のロググループを一箇所に集約して監視することができます。これは、特に複数のLambda関数や他のリソースからのログをまとめて確認したい場合に非常に便利です。

ロググループを選択したら「フィルターを適用」を押して、準備完了です。

コードを実行すると以下のようにログがリアルタイムに出力されます。

また、ログイベントのフィルタリングをすることで対象の文字が入ったものだけを出力することが可能です。
今回は「test」をフィルタリングしてみました。
「ERROR」や「test」などを仕込むことによって、必要なログ情報だけを取り出すことができます。

CloudWatchのライブテール機能を使用すると、アプリケーションやシステムのログデータをリアルタイムで監視し、問題が発生した際に迅速に対応することができます。
上記の手順を参考にして、AWSマネジメントコンソールでライブテールを設定し、活用してください。

CloudWatch Logsインサイト

ログデータをクエリして詳細な分析を行うための機能です。
ログデータから特定の情報を抽出し、視覚化することで、システムの状態やパフォーマンスの把握が容易になります。
CloudWatch Logs Insightsは欲しい条件と時間でログを抽出できます。

主な機能

1. クエリベースのログ検索

ログデータに対してSQLライクなクエリを実行し、特定の条件に一致するログエントリを抽出します。

2. 対象となるログの日時指定

検索したい日時を限定することが可能です。

3. 保存されたクエリ

頻繁に使用するクエリを保存しておくことができ、再利用が容易になります。

マネージドコンソール画面操作

AWS Management Consoleにログインし、サービス一覧から「CloudWatch」を選択します。
CloudWatchコンソールの左側のメニューから「ログのインサイト」を選択します。

クエリを実行したいロググループを選択します。複数のロググループを同時に選択することも可能です。

グループとクエリの設定

ログデータに対して実行したいクエリを作成します。Logs Insightsのクエリ言語は、SQLに似た簡潔な文法を持っています。以下にクエリ例を示します。
「test」という文字が含まれたログを検索します。

fields @timestamp, @message, @logStream, @log
| sort @timestamp desc
| filter @message like /test/

対象となるログの日時指定

時間の設定は相対値と絶対値で選択することができます。

相対値

CloudWatch Logs Insightsでは、クエリの実行範囲を簡単に設定するために、デフォルトの時間範囲を指定するオプションがあります。
これには、1時間、3時間、12時間、1日、3日、1週間などのプリセットが用意されています。
カスタムを選択することでより詳細な設定が可能です。

絶対値

カレンダーと時間選択ツールを使用して、クエリの開始時間と終了時間を設定します。
例えば、「開始時間」を2024年6月17日午前00:00、「終了時間」を2024年6月23日午後23:59と設定します。
検索したいログの日時がわかっている場合はこちらを使うことをおすすめします。

クエリの実行

ロググループの選択、クエリの設定、時間範囲の選択が完了したら「適用」を実行することでログの検索ができます。

クエリの実行結果です。
結果を視覚的に理解しやすくするため、グラフやチャートとして表示することができます。

クエリの実行結果がリスト形式で表示されます。各ログエントリにはタイムスタンプ、メッセージ、その他のフィールドが含まれます。
この検索は分散処理されるため、膨大な量のログデータでも迅速に処理されます。

クエリの保存

実行したクエリを保存して、後で再利用できるようにします。
クエリ実行の横にある「保存」ボタンをクリックし、クエリの名前と詳細を入力して保存します。

「保存」ボタンをクリックすると、クエリの保存ダイアログが表示されます。ここで、以下の情報を入力します。

項目	説明
名前	保存するクエリの名前を入力します。この名前はクエリを識別するために使用されます。
ロググループ	クエリが適用されるロググループを選択します。複数のロググループにまたがるクエリを保存する場合は、それぞれのロググループを選択します。
クエリ	実際のクエリテキストが表示されます。このクエリテキストを編集することも可能です。

保存したクエリの参照

ログインサイトの画面の右側に「クエリ」というセクションがあります。
ここに、以前保存したすべてのクエリが表示されます。

先ほど保存したクエリ「test」をクリックします。この操作により、「test」という名前で保存されたクエリの詳細が表示されます。
これにより、保存されたクエリを再利用してログデータを効率的に分析できます。

まとめ

AWS CloudWatchのサブスクリプションフィルター、ライブテール、ログインサイトの機能を活用することで、ログ管理とリアルタイムモニタリングを効果的に行うことができます。
これにより、開発効率を大幅に向上させ、迅速なデバッグやインシデント対応が可能となります。
これらの機能を効果的に活用して、より信頼性の高いシステム運用を目指しましょう。