【完全解説】4大クラウドの Datadog integrations アーキテクチャ【2024年版】

Last updated at 2024-12-21Posted at 2024-12-01

はじめに

こんにちは、Datadog Japan で Sales Engineer をしている AoTo です。

この投稿は AoTo Advent Calendar 2024 1日目の記事です。

この記事は定期的に更新されています。
現在は2024年12月時点での情報をもとにアップデートされています。¹

この記事では、Datadog が提供している、Amazon Web Services(AWS), Microsoft Azure, Google Cloud のいわゆる「3大クラウド」に Oracle Cloud Infrastructure(OCI) を加えた「4大クラウド」からの監視・セキュリティ・コストの情報を収集するためのインテグレーションの全体像とアーキテクチャをまとめています。

本記事内の「4大クラウド」の定義は、2024 Gartner®️ Magic Quadrant™️ for Strategic Cloud Platform Services の内 Leaders に位置されるプラットフォームとしています。

ここでは、各インテグレーションの設定方法に言及しません。
設定方法は以下の Datadog の公式ドキュメントをご参照ください。

クラウドインテグレーション概要

Datadog は現在、800以上のインテグレーションを提供しており、インテグレーション入門によるとインテグレーションは以下の3種類に大分されます。

エージェントベース
認証(クローラー)ベース
ライブラリ

この中で、4大クラウドのインテグレーションは「認証(クローラー)ベース」にあたります。認証 (クローラー)ベース特徴として、「Datadog Agent/Tracer を利用しない」「Datadog API を利用する」「Datadog アプリケーション²内で制御・設定される」ことが挙げられます。

特に、各クラウドインテグレーションはクラウド上に権限リソースを用意し、その情報を用いて Datadog アプリケーションのバックグラウンドで用意されるクローラーによる定期的な情報取得が行われる共通点があります。

メトリクス収集

メトリクス収集は基本的に Pull 型のデータ連携です。

各クラウドの監視サービスに保存されているメトリクスは、クラウド上に用意された権限リソースとクローラーによる定期的な情報取得によって Datadog に収集されます。この権限リソースは、図のようなメトリクスデータの取得だけではなく、各クラウドリソースのメタデータの取得・コスト情報の取得・セキュリティ/アセット情報の取得等³にも利用されます。

クローラーによる定期的な情報取得となるため、メトリクス取得用の API が提供されていることが前提条件となります。さらに、各クラウド上のメトリクスデータが利用可能となるまでに定められた時間があり、メトリクス取得頻度も5-10分間隔となるため、メトリクスの遅延を考慮する必要があります。

AWS, OCI ではこの方法に限らず、クラウド側からメトリクスを Push 型で送信する方法が提供されています。

ログ収集

ログ収集は基本的に Push 型のデータ連携です。

各クラウドの監視サービスまたはオブジェクトストレージに保存されているログは、クラウド上のサーバレス関数をログの保管元の更新によりトリガーするイベント駆動型の情報取得によって Datadog に収集されます。

イベント駆動型の情報取得となるため、各クラウドで提供されているトリガー方式やサーバレス関数の仕組みや実装方法が多少異なります。さらに、既存の実働環境への影響を最小限とするため、サーバレス関数などのサービス利用の割り当て制限に注意する必要があります。

コスト情報収集

コスト情報収集はクラウドの機能で出力したコスト情報を、Pull 型のデータ連携で取得します。

各クラウドは請求情報をその内訳と共にオブジェクトストレージにエクスポートする機能を備えており、Datadog Cloud Cost Management を有効化することで、メトリクス収集で利用している既存の認証情報を利用してコスト情報を収集できます。⁴

これらのコスト情報は実際の請求を元に生成されるため、クラウド利用時の契約を反映し、Datadog ではカタログ価格であるオンデマンド(On-demand)・契約に応じたディスカウントを含む償却費(Amortized)と非混合費(Unblended)・プライベートディスカウント等を対象とする正味コスト(Net) などに分類して表示可能です。

さらに、コスト情報を可視化するだけではなく、EKS, ECS, AKS, GKE などのコンテナサービスのコストをポッド、ノード、コンテナ、タスクなどのワークロード量に応じてコストの割り当てを行うコンテナコスト配分機能を利用できます。

メタデータ収集

メタデータ収集は基本的に Pull 型のデータ連携です。

メトリクス収集と同時に、クローラーが読み取り権限を利用して各リソースのメタデータを取得し Datadog 上の監視情報にタグとして付与します。

この他に、Datadog Cloud Security Management を有効化することで、クラウドの構成情報などを追加で取得してクラウド上の構成ミスを発見する Cloud Security Posture Management(CSPM) を実現できます。

さらに、クラウド認証情報の IAM 情報のリスクを評価する Identity Risk 機能 をさらに活用するためには、実際の利用証跡である監査ログと併せて Cloud Infrastructure Entitlement Management(CIEM)を実現できます。

AWS integration のアーキテクチャ

AWS integration で取得できる情報は AWS アカウント単位です。

AWS Orgatnizations 配下の複数の AWS アカウントに設定を行う場合は、CloudFormation Stack Sets を活用した、AWS integrations for Multi-Accounts の設定がサポートされています。⁵

インテグレーションに必要なリソースは、Datadog 内の AWS integration 設定ページから CloudFormation テンプレートを利用してデプロイ可能です。これにより、主にメトリクス収集をはじめとする Datadog からのクローラーベースのアクセスを許可するための IAM role とログを転送する Lambda 関数がデプロイされます。⁶

詳細は『Datadog integrations Deep Dive - AWS 編』で解説しています。