S3バケットに保存したログを NewRelic へ転送する

はじめに

S3に保存されるALBやCFtなどのアクセスログを NewRelic へ転送するための設定を行います。

設定

NewRelic が AWS Serverless Application Repository に　Lambdaアプリケーション を提供しているのでそれを利用します。
設定の流れとしては Lambdaアプリケーションのデプロイ > Lambdaトリガーの追加 になります。

事前作業

本作業を行う際に API ライセンスキーを利用します。
以下に記事書きましたのでよかったら参考にして発行しておいてください。

AWS Lambdaアプリケーションのデプロイ

• AWS Serverless Application Repositoryへアクセスします。

• 検索ボックスで NewRelic-log-ingestion-s3 を入力し、 Show apps that create custom IAM roles or resource policies のチェックボックにチェックを入れます。
  すると、NewRelic-log-ingestion-s3 が表示されるのでそのリンクをクリックします。

• [ Deploy ] をクリックします。

• Lambdaアプリケーションのデプロイ画面が表示されるので、API LicenseKey を入力し、"このアプリがカスタム IAM ロールを作成することを承認します。" のチェックボックスにチェックを入れ、[ デプロイ ] をクリックします。

• [ AWS Lambda > アプリケーション ] で "serverlessrepo-NewRelic-log-ingestion-s3" のステータスが Create complete となればデプロイ完了です。

AWS Lambda トリガーの追加

• [ AWS Lambda > 関数 > NewRelic-s3-log-ingestion ] で [ + トリガーを追加 ] をクリックします。

• "ソースを選択" で S3 を選び、"Bucket" で送信したいバケットを選択します。
  また、"I acknowledge that using the same S3 bucket for both input and output is not recommended and that this configuration can cause recursive invocations, increased Lambda usage, and increased costs." というチェックボックスにチェックを入れます。
• [ 追加 ] をクリックします。

確認

• 先ほど [ + トリガーを追加 ] だった部分が [ S3 ] となります。

また、[ S3 ] をクリックするとトリガー情報が確認できます。
[ ▶️ 詳細 ] を開くと詳細情報が確認できるため、ここに先ほど追加した設定内容が表示されます。

トリガーの追加と削除

他の S3 バケットに保存したログに対してはトリガーの追加/削除で対応ができます。

追加

• [ トリガーを追加 ] をクリックしてあとの手順は先ほどと同様です。

削除

複数のログ送信が設定されている場合、特定のログ送信を停止する際に行う作業です。

• 対象トリガーのチェックボックスにチェックを入れます。
• [ 削除 ] をクリックします。

• [ 削除 ] をクリックします。

• [ 閉じる ] をクリックして完了です。

AWS Lambdaアプリケーションの削除

送信設定したログを一括で停止したい際はLambdaアプリケーションを削除することで対応できます。

• [ CloudFormation > スタック ] から serverlessrepo-NewRelic-log-ingestion-s3 をクリックします。

• [ 削除 ] をクリックします。

• [ 削除 ] をクリックします。

おわりに

Lambdaアプリケーションをデプロイするだけで転送設定が行えるので便利です。
あとは必要なログだけを転送したり、保持期間を設定するなどのS3バケット側の管理は別途必要かなと感じました。

その他の NewRelic に関する投稿

その他にも投稿記事があるので良かったら読んでいただけたら嬉しいです。

参考