はじめに
こんにちは、Datadog Japan で Sales Engineer をしている AoTo です。
この投稿は AoTo Advent Calendar 2023 4日目の記事です。
AWS の最大の年次イベント「AWS re:Invent 2023」に併せて Datadog が発表した様々な新機能を日本語でまとめました。AWS も Datadog の両方に興味がある・利用しているよ、という方は是非ご参考ください
こちらの内容は AWS integration に関連する新機能に焦点を当てた後編となります。Datadog の製品の新機能は前編でまとめています
Datadog で利用できる AWS サービスへの integration は、6つの内容がアナウンスされました。
これらの integraion の概要と解説をしていきます。
2023/12/3 時点での情報を元に記載しています。
特筆のないものは全て一般公開(GA)されています。
最新の情報は Datadog の公式ドキュメントをご参照ください。
Amazon Bedrock integration
概要
Amazon Bedrock は近年盛り上がりつつある生成 AI を利用したアプリケーション・サービスを構築するための開発者ツールです。既存の主要な基盤モデルを API を通じて利用することで、モデルのカスタマイズやモデル推論・評価が行えます。
Datadog Amazon Bedrock integration は、既存の AWS integration によって Bedrock の監視メトリクス・ログを CloudWath Metrics, CloudTrail Logs から取り込み、Datadog の OOTB Dashboard(組み込みダッシュボード)で可視化できるソリューションです。
できるようになったこと
Amazon Bedrock integration によって、Bedrock による基盤モデルの使用状況や API パフォーマンス・エラー率を監視できるようになります。このような情報を活用することで、エンドユーザーのモデルの呼び出し頻度やデータの複雑さを把握でき、生成 AI モデルの使用を最適化できます。
Amazon Bedrock integration 以前は、DASH 2023 にて AI Integration roundup を公表していましたが、これは Bedrock に限らない内容でした。
今回の変更により、Bedrock 関連のメトリクスを取り込んだ上で Bedrock インテグレーションタイルで[Install]をクリックするだけで、OOTB Dashboard(組み込みダッシュボード)が利用できるようになります。既存の AWS & Datadog ユーザーで Bedrock による生成 AI アプリケーションの開発を考えられている方にとっては利用しない手はない機能となります。
Amazon S3 Express One Zone
概要
S3 Express One Zone は新たに発表された Amazon S3 のハイパフォーマンスストレージクラスです。単一 AZ での稼働によりパフォーマンスを最適化し、高頻度で低レイテンシーなストレージアクセスを実現できます。
Datadog は Amazon S3 Express One Zone が高い品質で稼働できているかを監視するためのソリューション群を提供しています。具体的には、AWS integration によって取得された監視情報と、Datadog APM によるトレースによって監視することができます。
できるようになったこと
AWS より発表された新規機能であっても、その特性に応じて既存の監視ソリューションが適用できます。既存の Amazon S3 integration や Amazon S3 Storage Lens integraion は S3 のさまざまなストレージクラスを一元的に管理できるソリューションで、OOTB Dashboard(組み込みダッシュボード)により深い洞察を得ることができます。
Datadog APM では言語毎の互換性に依存しますが、AWS SDK に自動計装の互換性がある Java, Python, Ruby, Go, Node.js では S3 へのリクエストの内容とパフォーマンスを可視化できます。リクエストの内容には S3 のバケット名やリクエスト ID が含まれるため、APM のトレース情報から S3 バケットクラスの最適化を判断できます。
AWS IAM Access Analyzer integration
概要
AWS IAM Access Analyzer は AWS IAM をはじめとする認証・権限情報をアクセス情報と合わせて分析できるソリューションです。AWS の最小権限の原則 を達成するために、IAM の使用状況と権限情報を管理し証明可能なセキュリティによる分析を可能にします。
Datadog AWS IAM Access Analyzer integration は AWS IAM Access Analyzer によって顕在化した未使用の IAM をはじめとする認証権限を特定したり、企業のポリシーへの準拠状況を可視化するソリューションです。
できるようになったこと
AWS IAM Access Analyzer integration によって AWS アカウントで利用されている IAM アクセスを分析するために Datadog のプラットフォームを活用できます。
Datadog Logs Management では無制限のログの取り込みと柔軟なクエリを活用することで、リアルタイムで IAM Access Analyzer の検出結果を可視化できます。
Datadog Dashboard や Datadog Monitor を用いることで、継続的な監視とリアルタイムのアラートによる通知を実現できます。
AWS Lambda Suppourt for Otel API
概要
この発表は他の内容と少し異なりますが、OpenTelemetry API によって計装された AWS Lambda のトレースデータを Datadog 上で可視化できるようになったというものです。
できるようになったこと
前述のとおり、AWS Lambda を OTel API で計装している場合でも、Datadog でのトレースデータの可視化が実現できます。
Datadog ネイティブの場合は Datadog Lambda Extension により Datadog トレーシングライブラリで計装したデータの収集が可能ですが、Lambda を OpenTelemetry で計装している場合には監視テレメトリデータを直接 Datadog に送信する方法が提供されていませんでした。
今回の発表により OTel API で計装されたデータを Datadog トレーシングライブラリと Datadog Lambda Extension を介して Datadog に送信できるようになりました。
現在は Python か Node.js での OTel API をサポートしていますが、Datadog トレーシングライブラリは OTel API による計装を Java, Python, Ruby, Go, Node.js, PHP, .NET をサポートしているため、今後 Lambda での対応言語の拡大が期待できます。
詳細は別のブログ内容をご覧ください。との案内を追加予定です。
AoTo Advent Calendar 2023 内で「Datadog の OTel への対応状況」をまとめる予定です。
Serverless Monitoring for AWS Step Functions
AWS Step Funtionts AWS のサービスを組み合わせることで自動化のソリューションを提供するビジュアルワークフローサービスです。分散型アプリケーションの構築や、プロセスの自動化、マイクロサービスのオーケストレーション、データ・機械学習パイプラインの構築を実現できます。
Datadog Serverless Monitoring for AWS Step Functions はこうしたワークフローの健全性の監視や実行パフォーマンスの把握に Datadog の Serverless Monitoring, APM などのソリューションを活用できる機能です。今回の発表で公開ベータとなり、全ての Datadog ユーザーが使用可能です。
この機能は Datadog の年次イベントである DASH 2023 で既に発表されています。
できるようになったこと
AWS Step Fuctions integration に加えて Serverless Monitoring for AWS Step Functions を実装することで、Step Functions のメトリクスやログと合わせて、トレース情報を収集し、Serverless ページないの専用のビューで可視化できます。
専用のビューとして存在する State Machine Map はまさに Step Functions のステートマシーン構造をそのまま Datadog で確認できる機能で、Datadog のトレースビューと比較してボトルネックの特定や実行結果の確認を行えます。
CI Pipeline Visibility for AWS Codepipeline
概要
AWS Codepipeline はフルマネージドな CI/CD パイプライン構築ソリューションで、Code Build や Code Deploy を利用してアプリケーションやインフラストラクチャのアップデートやリリースを自動化できます。
Datadog CI Pepeline Visibility for AWS Codepipeline はこうしたパイプラインの重要なメトリクスと結果を表示し、独自のビューによって CI の健全性を可視化できます。
できるようになったこと
Datadog CI Pipeline Visibility で今までサポートされていなかった AWS Codepipeline へのサポートがされ、簡単に CI Pipeline Visibility の強力なビューを利用して、パイプラインの健全性を可視化できます。この機能は特に Datadog かつ AWS Codepipeline ユーザーの間で待望となっていた機能でした。
これまではパイプラインの実行に関する監視情報を収集・可視化するために、Code Build integration や Code Deploy integrationにより情報を収集し、カスタマイズしたダッシュボードでその状況を追う必要がありました。現在でもこれらの方法は可能ですが、Datadog CI Pipeline Visibility を利用することでこれらの管理が不要となり、Pipeline Executions ビュー による視覚的に実行内容を把握することが可能です。
おわりに
どのようなプロダクトであっても、安定的に運用しシステムの最適化を行うためにオブザーバビリティを導入することは重要です。Datadog は、AWS による豊富なソリューション・プロダクトを一元的に監視するために数多くのインテグレーションを提供しています。
今回紹介した機能の他にも、AWS re:Invent 2023 に合わせて発表された Datadog の新機能はたくさんあるため、ぜひご確認ください。
Datadog Advent Calendar 2023 は Datadog に関連する様々な内容を Datadog のユーザーとエンジニアが投稿しています。この機会に是非覗いてみてください！