はじめに
Datadog未経験である私が勉強を始めて、最初にAWSとの連携方式が気になったので、それを記事にしてみました。
初学者のため、誤りや不十分な点があるかと思いますがご容赦下さい。
DatadogとAWSの連携方式
公式のマニュアルを見ると、DatadogではAWSからのログ収集には下記の4パターンが存在すると記載されている。
- Kinesis Firehose経由
- Lambda→S3経由
- Lambda→Cloudwatch経由
- Datadog Agent経由(この方式であれば遅延をほぼゼロでメトリクスを取得できるとのこと)
上3つの方式については、その伝達のリアルタイム性や、Cloudwatch APIリクエストによる課金が気になるところ。
それぞれの方式のアーキテクチャを調査すると共に、簡単に試してみた。
まずLambda→S3経由
公式サイトのマニュアルには正確には下記の記載になっている。
Cloudformation: S3 バケットまたは CloudWatch ロググループにサブスクライブする Datadog Lambda 関数をデプロイし、ログを Datadog に転送します
上記からは「Cloudwatch→Lambda→S3→Datadog」の流れでログが転送されると推測される。
先頭にCloudformationとの記載があるのは、これを作成するCloudformationのテンプレートが提供されるということになる。
というわけで、まずテンプレートを確認してみる。
https://datadog-cloudformation-template.s3.amazonaws.com/aws/
- main.yaml
- datadog_policy_macro.yaml
- datadog_integration_role.yaml
- forwarder/latest.yaml
上記からCloudFormationのスタック、Lambda関数、S3バケット、IAMロールなどが作成されることがわかる。
概要は確認できたので、実際に作ってみる。
Datadogを実際に適用して作成されたAWSの各種リソースの確認
環境として下記を用意して、Datadogの初期構築を実行。
初期構築時にDatadog Agentのインストールが求められたため(それを実行しないと先に進めなかったため)、Datadog AgentをBastionにインストール。
それにより作成されたリソースは下記の通り
- DatadogIntegrationRoleStack
| 論理ID | 物理ID | タイプ |
|---|---|---|
| DatadogIntegrationRole | DatadogIntegrationRole | AWS::IAM::Role |
- DatadogPolicyMacroStack
| 論理ID | 物理ID | タイプ |
|---|---|---|
| DatadogPolicyMacro | DatadogPolicy | AWS::CloudFormation::Macro |
| DatadogPolicyMacroMacroFunction | datadog-DatadogPolicyMacr-DatadogPolicyMacroMacroF-1MHFM8LTJJ8LM | AWS::Lambda::Function |
| DatadogPolicyMacroMacroFunctionRole | datadog-DatadogPolicyMacr-DatadogPolicyMacroMacroF-BQAOWYELIJ1G | AWS::IAM::Role |
- ForwarderStack
| 論理ID | 物理ID | タイプ |
|---|---|---|
| DdApiKeySecret | arn:aws:secretsmanager:us-east-1:679788997248: secret:DdApiKeySecret-9okxwgCIL2yF-yPjRdy | AWS::SecretsManager::Secret |
| Forwarder | datadog-ForwarderStack-1EE5ZCRBBQ2D4-Forwarder-GG5HQDBXXFJY | AWS::Lambda::Function |
| ForwarderBucket | datadog-forwarderstack-1ee5zcrbbq-forwarderbucket-1ixlaivrpw92l | AWS::S3::Bucket |
| ForwarderRole | datadog-ForwarderStack-1EE5ZCRBBQ2D4-ForwarderRole-Z4MWEB3V5N2 | AWS::IAM::Role |
| ForwarderZip | 2020/12/28/[$LATEST]db58124f3dc84c9cb84dfe881db85978 | Custom::ForwarderZip |
| ForwarderZipCopier | datadog-ForwarderStack-1EE5ZCRB-ForwarderZipCopier-XNBKYFQ73HZF | AWS::Lambda::Function |
| ForwarderZipCopierRole | datadog-ForwarderStack-1EE5-ForwarderZipCopierRole-L6M6ICLCUAEK | AWS::IAM::Role |
| LogGroup | /aws/lambda/datadog-ForwarderStack-1EE5ZCRBBQ2D4-Forwarder-GG5HQDBXXFJY | AWS::Logs::LogGroup |
| S3Permission | datadog-ForwarderStack-1EE5ZCRBBQ2D4-S3Permission-1XGAY0HFVJ7L8 | AWS::Lambda::Permission |
さっそくS3を確認。
バケットとして「datadog-forwarderstack-1ee5zcrbbq-forwarderbucket-1ixlaivrpw92l」が作成されており、「aws-dd-forwarder-3.27.0.zip」(11.1MB)のみが格納されていた。
zipの中身
$ ls -al
total 11690
drwxr-xr-x 1 ec2-user 197121 0 12月 28 23:22 ./
drwxr-xr-x 1 ec2-user 197121 0 12月 28 23:19 ../
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 __pycache__/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 aws_dd_forwarder-0.0.0.dev0.dist-info/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 aws_xray_sdk/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 aws_xray_sdk-2.4.3.dist-info/
-rw-r--r-- 1 ec2-user 197121 11685066 12月 28 23:17 aws-dd-forwarder-3.27.0.zip
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 bin/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 certifi/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 certifi-2020.12.5.dist-info/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 chardet/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 chardet-4.0.0.dist-info/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 datadog/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 datadog_lambda/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 datadog_lambda-2.16.0.dist-info/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 datadog-0.32.0.dist-info/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 dateutil/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 ddtrace/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 ddtrace-0.36.0.dist-info/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 decorator-4.4.2.dist-info/
-rw-r--r-- 1 ec2-user 197121 126 12月 17 12:26 easy_install.py
-rw-r--r-- 1 ec2-user 197121 24595 11月 21 06:53 enhanced_lambda_metrics.py
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 future/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 future-0.18.2.dist-info/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 idna/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 idna-2.10.dist-info/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 importlib_metadata/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 importlib_metadata-3.3.0.dist-info/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 jmespath/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 jmespath-0.10.0.dist-info/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 jsonpickle/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 jsonpickle-1.4.2.dist-info/
-rw-r--r-- 1 ec2-user 197121 40767 12月 17 01:08 lambda_function.py
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 libfuturize/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 libpasteurize/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 03:27 META_INF/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 msgpack/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 msgpack-1.0.1.dist-info/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 past/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 pkg_resources/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 python_dateutil-2.8.1.dist-info/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 requests/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 requests_futures/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 requests_futures-1.0.0.dist-info/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 requests-2.25.1.dist-info/
-rw-r--r-- 1 ec2-user 197121 8262 12月 17 12:23 settings.py
-rw-r--r-- 1 ec2-user 197121 940 11月 25 04:14 setup.py
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 setuptools/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 setuptools-42.0.2.dist-info/
-rw-r--r-- 1 ec2-user 197121 34159 12月 17 12:26 six.py
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 six-1.15.0.dist-info/
-rw-r--r-- 1 ec2-user 197121 26317 12月 17 12:23 template.yaml
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 tools/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 trace_forwarder/
-rw-r--r-- 1 ec2-user 197121 83727 12月 17 12:26 typing_extensions.py
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 typing_extensions-3.7.4.3.dist-info/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 urllib3/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 urllib3-1.26.2.dist-info/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 wrapt/
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 wrapt-1.11.2.dist-info/
-rw-r--r-- 1 ec2-user 197121 8089 12月 17 12:26 zipp.py
drwxr-xr-x 1 ec2-user 197121 0 12月 17 12:26 zipp-3.4.0.dist-info/
中身を見た感じ、Datadogに吸い上げて欲しい各種リソース情報が含まれている感じがしない。
(zipファイルのtimestampも更新されず、ここ経由でリアルタイムに情報を連携してはいないと思われる)
やはり、初期構築時にDatadog Agentのインストールを強要されたので、基本的にはそこ経由の情報のやり取りになるのか？
Datadog Agentのプロセス
$ ps -ef | grep datadog
root 23258 1 0 13:25 ? 00:00:00 su -s /bin/sh -c DD_LOG_TO_CONSOLE=false exec "$0" "$@" dd-agent -- /opt/datadog-agent/bin/agent/agent run -p /opt/datadog-agent/run/agent.pid
dd-agent 23270 23258 0 13:25 ? 00:00:10 /opt/datadog-agent/bin/agent/agent run -p /opt/datadog-agent/run/agent.pid
root 23272 1 0 13:25 ? 00:00:00 su -s /bin/sh -c DD_LOG_TO_CONSOLE=false exec "$0" "$@" dd-agent -- /opt/datadog-agent/embedded/bin/process-agent --config=/etc/datadog-agent/datadog.yaml --sysprobe-config=/etc/datadog-agent/system-probe.yaml --pid=/opt/datadog-agent/run/process-agent.pid
root 23273 1 0 13:25 ? 00:00:00 su -s /bin/sh -c DD_LOG_TO_CONSOLE=false exec "$0" "$@" dd-agent -- /opt/datadog-agent/embedded/bin/trace-agent --config /etc/datadog-agent/datadog.yaml --pid /opt/datadog-agent/run/trace-agent.pid
dd-agent 23274 23272 0 13:25 ? 00:00:03 /opt/datadog-agent/embedded/bin/process-agent --config=/etc/datadog-agent/datadog.yaml --sysprobe-config=/etc/datadog-agent/system-probe.yaml --pid=/opt/datadog-agent/run/process-agent.pid
dd-agent 23275 23273 0 13:25 ? 00:00:04 /opt/datadog-agent/embedded/bin/trace-agent --config /etc/datadog-agent/datadog.yaml --pid /opt/datadog-agent/run/trace-agent.pid
Datadog側を確認
Datadog AgentをインストールしていないEC2インスタンスについても、情報が収集されていることが確認できた。
ただし、AgentをインストールしていないEC2インスタンスについては、その存在は確認できても、CPU使用率などの情報は収集されていない様子。
Datadogの「Infrastructure List」「Host Map」のどちらにもインスタンス自体は表示されている。
ドキュメントの確認
ここまで調べて、実装から見て動作を解き明かすのは面倒そうに感じてきたので、ドキュメント調査を開始。
下記のブログ記事がわかりやすかった。
Ensuring Successful Cloud Migrations with Cross-Platform Visibility from Datadog
上記Figure1より、DatadogAgentがデータを送るもの、Lambda→S3経由となるものの違いについて記載されている。
まとめ
公式のマニュアルからは複数の転送方式があるとの記載だったが、様々な方式を同じように利用できるわけではなく、
データの種類により、その転送方式が異なるだけということがわかった。
方式によっては転送されないデータもあり、普通に利用するのであれば、EC2やコンテナ等にDatadog Agentをインストールする必要がある前提で考えた方がよさそうであることがわかった。