CloudWatch Logs から Lambda を使って NewRelic にログを転送する際にカスタムタグをつける

概要

• 掲題の通り
• 公式のコードに変更を加えているので、自己責任で利用してください
• Lambda から NewRelic にログを転送するときに任意のタグをつけて送りたかった
  • NewRelic の Logs の画面で任意のタグでフィルタリングしたかったため
• fluentd ではできそうだった
  • http://katzchang.hatenablog.com/entry/2019/12/10/132210

方法

• そもそも Lambda のスクリプトは以下にある
  • https://github.com/newrelic/aws-log-ingestion.git
• 今回は、 function.py (下記リンクの箇所)に任意のタグを追加することで実現した https://github.com/newrelic/aws-log-ingestion/blob/59665cd2951fdc7ea3e50d92d2911700f19dc97e/src/function.py#L448
• diff はこんな感じ
  • Lambda に CUSTOM_ATTRIBUTES という環境変数を設定することで、任意のタグを注入できる

diff --git a/src/function.py b/src/function.py
index 937c1b6..b242aba 100644
--- a/src/function.py
+++ b/src/function.py
@@ -371,6 +371,12 @@ def _reconstruct_infra_data(context, entry, logEvents):
 #  NR Logging  #
 ################

+def _get_custom_atrributes():
+    """
+    This functions get attribute key from env vars.
+    """
+    return os.getenv("CUSTOM_ATTRIBUTES", "{}")
+

 def _logging_enabled():
     """
@@ -447,6 +453,7 @@ def _package_log_payload(data):
                         "logStream": entry["logStream"],
                         "logGroup": entry["logGroup"],
                     },
+                    "custom": _get_custom_atrributes(),
                 }
             },
             "logs": log_messages,

結果

• CUSTOM_ATTRIBUTES = "{\"group\":\"group-x\"}" とした場合
• Logs 画面の UI にも反映されている
  • 
• ログデータの詳細は以下
  •