前回に引き続き、2021/10/26、10/27の2日に渡って開催したDatadogのイベントDash 2021で発表された新機能や新サービスについて、ご紹介したいと思います。後半はログ管理、Ecosystem、Developer experience、セキュリティなどをピックアップしてご紹介したいと思います。
ログ管理
Online Archives
Online Archivesは、1ヶ月分のデータをインデックス化するのと同じコストで、15ヶ月以上のすべてのログ・データを保持し、検索することができます。
リアルタイムでのモニタリングやトラブルシューティングには、ログのインデックス作成が欠かせませんが、大量に発生するとコストがかさむため、これまでは、インデックスを作成するログとアーカイブするログを選択しなければなりませんでした。また、セキュリティ調査やコンプライアンス監査のような長期にわたるアクセスログへの完全なアクセスを必要としながらも、サブセカンドのクエリ応答時間を必要としない状況は数多くありました。現在のロギング・ソリューションは、完全なログ・データを長期間にわたって保存し、照会するための費用対効果の高い方法を提供していませんでした。
Online Archivesは、インデックスの代わりとなるもので、チームは、リアルタイムのログ・ストリーミングやアラートにはインデックスを使い続け、過去の調査や分析が必要な状況ではOnline Archivesを使用することができるように成りました。
オンラインアーカイブは、インデックスが作成されているかどうかに関係なく、作成できます。インデックス付きログの場合、新しいオンラインアーカイブを既存のログインデックスに付与するだけです。
詳細についてはblogまたはPRESS RELEASESをご確認ください。
Sensitive Data Scanner
Sensitive Data Scannerは、ストリームベースのパターンマッチングサービスで、クレジットカード番号、銀行口座番号、APIキー、OAuthトークンなどのセンシティブデータの識別、タグ付け、そしてオプションでリダクションや難読化を行うことができます。
センシティブなデータは、アプリケーションログやトレースイベントの中で意図せずに公開されることが多く、組織を財務リスクやプライバシーリスクにさらすことになります。
多くの場合、企業は、組織のポリシー、コンプライアンス要件、業界の規制、およびプライバシーに関する懸念から、ログ内のこのようなセンシティブなデータの特定、修正、および露出の防止を求められます。これは特に、銀行、金融サービス、ヘルスケア、保険などの業界に当てはまります。
Sensitive Data Scannerによってセキュリティチームやコンプライアンスチームは、センシティブデータが組織外に流出するのを防ぐための新たな防衛線を導入することができます。スキャナーライブラリには、電子メールアドレス、クレジットカード番号、APIキー、認証トークンなど、一般的に検出されるパターンに対応したさまざまなルールが用意されています。
詳細や設定についてはドキュメントをご確認ください。
Ecosystem
Observability Pipelines
Datadog のオンプレミス型のオブザーバビリティ パイプラインは、可観測性データの処理方法から送信先まで、完全にコントロールすることができます。当社のパイプラインは、ローカルハードウェアやクラウドなど、お客様のインフラ上で実行されるため、データがシステムを離れる前に意思決定を行うことができます。オブザーバビリティ パイプラインでは、安全性とコスト効率を維持しながら、データを分析に役立てるための様々なデータ変換（サンプリング、リダクション、暗号化、エンリッチメントなど）を行うことができます。データの取り込みと処理が完了した後は、ニーズに応じて最適なツールにデータを転送することができます。
Datadog Apps
Datadog Appsを使用すると、サードパーティツールの機能とDatadogのすべての監視機能をシームレスに組み合わせた独自のDatadogUI機能を構築して共有できるようになりました。これにより、主要なアプリケーション管理ツールをダッシュボードウィジェットとインラインで埋め込むことができるため、Datadogの洞察に基づいて簡単に意思決定を行うことができます
Datadog Developer Platformを使用して、カスタムウィジェット、サイドパネル、モーダル、およびその他のコンポーネントを構築し、ダッシュボードに追加することで、監視とアプリケーション管理のワークフローを統一することができます。現在のアプリ群には、LaunchDarkly、PagerDuty、Fairwinds、Harness、Rookout、Shorelineのパートナーが開発したウィジェットが含まれており、今後も追加される予定です。
こちらは例としてPagerDutyのダッシュボード画面です。
PagerDutyのDatadogアプリは、インシデント管理のワークフローを最適化します。このアプリには、監視対象のビジネスサービスをリストアップするカスタムウィジェットが含まれており、アクティブなインシデントが関連付けられている場合には、深刻度順に表示されるので、影響を受けたサービスのうち、どのサービスにすぐに注意を払う必要があるかをすぐに確認することができます。
PagerDutyには別のカスタムウィジェットが用意されており、すべてのアクティブなインシデントを、影響を受けたサービスやインシデントの期間などと一緒に表示することができます。DatadogダッシュボードからPagerDutyのすべてのインシデントを見ることができるだけでなく、Datadogから直接インシデントの確認や解決を行うことができます。
詳細や設定についてはBlog またはドキュメント をご確認ください。
Developer experience
CI Visibility
Datadog CI Visibilityは、Public Betaとしてリリースされていましたが、今回正式にGAされました。Datadog CI Visibilityは、CI/CDワークフローの健全性とパフォーマンスに関する深いインサイトを提供します。GitLab、Jenkins、CircleCI、GitHub Actions、Buildkiteなどの主要なサービスをサポートし、どのパイプラインが頻繁に失敗しているのか、あるいはビルドに時間がかかりすぎて開発の中断につながっているのかを追跡することができます。
また、CI Visibilityは、各テストごとに分散型トレースをかけ、不具合のあるテストを自動的に明らかにしたうえで、問題が発生したテストのデバッグやテストスイートの効果を時系列で追跡するのに役立つ重要なインサイトを提供します。
DatadogをCIプロバイダーと統合すると、Datadogは自動的にパイプラインを計測します。つまり、ビルドに時間がかかったり、失敗したりして、何が起こっているのかを理解する必要がある場合、ビルドのフレイムグラフを視覚化して、継続時間の長いジョブやエラーの多いジョブを探すことができます。その後、エラーの詳細を見て、エラーの原因を理解したり、ジョブのURLのタグを見て、根本的な問題を特定して修正するのに必要なコンテキストを見つけることができます。
パイプラインの健全性やパフォーマンスに関する重要なシグナルに対して、簡単にAlertを設定することができます。これにより、パイプラインの障害が頻発したり、ジョブの完了に時間がかかりすぎたりした場合に、タイムリーに通知を受けることができます。パイプライン、ステージ、ジョブのすべてについて、失敗、ビルド時間のしきい値とパーセンタイル、キュー時間のしきい値など、パイプラインページで照会できるあらゆる属性や指標についてアラートを設定できます。
詳細や設定についてはドキュメントをご確認ください。
Cloud Cost Management
Cloud Cost Managementは、クラウドの利用コストの可視化を提供します。
例えば、インフラストラクチャの変更がコストにどのように影響するかを確認するためにエンジニアリングチームとコスト管理部門、両方に情報の共有をすることが可能になります。これによりクラウド利用料の傾向を理解し組織全体のコストを割り当てや非効率な部分の特定するなどのお役にたえてることができます。
Datadog上でクラウドコストデータを取り込みんだあとクエリ可能なメトリクスに変換しており、チーム別、製品別など、さまざまな角度からコストを把握することができ、もしコストの上昇があった場合は、変更があった部分の使用状況の指標と関連付けて根本的な原因を特定など可能になります。
Cloud Cost Managementは現在、AWSのみの対応となっており、使用するには、AWSのCost Usage Reports（CUR）にアクセスできるAWSアカウントが必要であり、AWS Integrationを設定していただくだけでDatadog利用可能となります。
詳細や設定についてはblogまたはUDPのドキュメント、WebSocketのドキュメントをご確認ください。
Security
Application Security
Application Securityはクラウドベースのセキュリティプロダクトで、アプリを直接保護し可視化します。
現在のトレンドである従来のモノリシックアーキテクチャからマイクロサービスへの移行により、組織は俊敏性とスケーラビリティを向上させることが可能となりました。
ただし、これらの分散アプリケーションの複雑さが増すと、侵入検知システムやファイアウォールなどの従来のセキュリティソリューションでは発見、解決できないセキュリティリスクと脆弱性が発生する場合が増えてきています。
そこで、エージェントをインストールすると、アプリをリアルタイムで分析してコードや構成の脆弱性を見つけ、アプリケーションへの攻撃を動的に検出し、ネットワークリクエストからコード行まで追跡します。
これにより、疑わしい動作をブロックし、開発、セキュリティ、運用チーム全体を通して根本原因をすばやく特定でき、チーム間のサイロを解消し、統一されたプラットフォームに集約することができます。
Application Securityは、これまでの監視だけではなく、RASP（Runtime Application Self Protection）やアプリ内のWebアプリケーションファイアウォール（WAF）として利用でき、アプリケーションロジックを標的とする高度な攻撃からの自動保護機能を提供しています。
また、Application Securityは、分散型トレース（APM）と組み合わせて活用することで、脆弱性の部分の特定に役立ち、それ以外の様々なノイズを除去できます。
まとめ
Datadog Dash 2021ではインフラ監視やAPM、ログなどの製品に加え、コード、データベース、CI/CDパイプラインなどの健全性やパフォーマンスに対する可視性をさらに高める新製品や機能などを多く発表しました。
Datadogはこれまで以上に、アプリケーション、インフラストラクチャ、およびプロセスに対するより深い可視性を提供するように進化しています