はじめに
こんにちは、23卒でバックエンドエンジニアをしている高橋です。
業務ではAWSなどのクラウドやDevOpsの促進などを行っております。
私がチームに配属された時、Datadogは既に導入済みでした。そのため、実際に設定を変更する機会に恵まれることはほとんどありませんでした。
そのため、実際に設定を変更する機会はほとんどありませんでした。
今回、この記事を通じてDatadogについて学ぶ良いきっかけを得たと感じています。
Datadogの概要
Datagdogはクラウドスケールのモニタリングサービスです。
リアルタイムのデータ分析と可視化を重点を置いておりインフラストラクチャ、アプリケーションパフォーマンス、ログ管理など幅広い機能を提供しているサービスです。
ログ管理
その中でも主要機能の一つであるログ管理はDatadogを活用しているチームであれば、必ずといっても良いほど使われていると思われます。
ログはシステムの健全性、セキュリティ、パフォーマンスを理解するために不可欠です。
詳細については以下を参照してください↓
https://docs.datadoghq.com/ja/logs/
問題点
ログはセキュリティ分析、原因調査などの重要な資産になります。
そのため「永久に保存しよう」としたいところですが、長期間の保存は特にコストが高くなる可能性があります。
そこで、、
Datadogのアーカイブ機能は、このコストを最適化するのに役立ちます！
ログアーカイブとは
アーカイブ機能は、Datadogで収集されたログデータを長期保存するための効率的な方法であり、必要なデータを安全に保管しながら、ストレージコストを大幅に削減することができます。
重要なログのみを選択してアーカイブし、不要なデータは破棄することで、ストレージを最適化することができ、必要に応じてアーカイブからデータを簡単に取り出し、分析やレポート作成に活用することもできます
Datadogでのアーカイブ設定手順
1. Log Forwarding ページを開く
2. New Archiveで新規作成
3. アーカイブ先を指定します
保存先としてS3バケットやAzure Blob Storageなどを選択することができます
※保存期間なども適宜指定してください
4. フィルタリングルールを設定
フィルタリングルールを設定する際に使用できるクエリは、ログの特定の属性やパターンに基づいています。
以下にいくつかのフィルタリングクエリの例を記述します
-
ログレベル：
status:error- エラー状態のログのみアーカイブ。 -
サービス指定：
service:service-name -
期間指定：
@timestamp:[2023-01-01 TO 2023-01-31] -
キーワード検索：
message:"Out of Memory" -
複合クエリ：
status:error AND service:database
アーカイブからのリハイドレート
アーカイブされたログデータを再度Datadogで分析や検索を行いたいケースもあると思います。その際にはRehydrateという機能を使うことでDatadogのログエクスプローラに戻して利用することができます。
1. Rehydrate From Archives ページを開く
2. New Historical View
3. 期間選択
リハイドレートするログイベントの期間を選択
4. クエリ入力
ログエクスプローラー検索と同じ構文のクエリを指定
5. ログの最大数を定義
6. 保有期間の定義
まとめ
Datadogに触れる機会がなかったのですが、この記事を通じて少しでも第一歩を踏み出す助けになればと思います。
今回はログのアーカイブとリハイドレート機能に焦点を当てましたが、今後はDatadogの他の機能にも触れていきたいと思います。