この記事は Datadog Advent Calendar 2025 の 17 日目の記事です。
はじめに
こんにちは、弁護士ドットコム SRE 室の原口と申します。 なによりも F1 が大好きなエンジニアです。
先日 2026 年のパワーユニットのサウンドがホンダ (Honda Racing) から公開されましたね！
MGU-H が廃止されることによって、どのようなサウンドになるのか非常に楽しみにしていましたが、非常にいい音で開幕が待ちきれなくなりました。
ダイナモ上でのテストだと思いますが、シフトチェンジも行われておりレースさながらのサウンドになっていて期待に胸が高鳴ります。
風の噂ではメルセデスのパワーユニットが非常に良いとの噂ですが、ホンダも負けずに頑張ってほしいです。
伝説のデザイナー、エイドリアン・ニューウェイ様もいるので、ホンダ製パワーユニットの性能を限界まで引き出してくれると思います！
なんと、東京でお披露目されるそうです！
今年を振り返って
2025 年も残りわずかとなりました。
今年の業務を振り返ってみると、 Datadog とともに業務にあたる時間が非常に多い一年でした。
元々 Datadog には少し苦手意識を持っていたのですが、F1 のテレメトリーシステムと同じで、Datadog を使ってたくさんのシステムの状態を詳細に把握して、問題が発生した際には迅速に対応する必要があると日々感じていました。
ですので、今年は積極的に Datadog の理解を深めることに力を入れていました。
その中で今回は、夏ごろに発生した突然のアクセス増加にともなうコスト増加対策について振り返りたいと思います。
突然のアクセス増加にともなうコスト増加対策
夏の終わりごろ、弁護士ドットコムへ予期せぬアクセスが集中しました。
このアクセス集中により、弊社の Web サイトは大きな負荷にさらされました。
さまざまな対策を取って、Web サイトの安定性を確保しましたが、後日弊社を担当していただいている Datadog の工藤さんから「ログの料金が大きく増加している」との連絡をいただきました。
私たちは、安定性だけに目を向けてしまい、コスト面へのケアが不足していたことに気づきました。
工藤さんからの迅速なご連絡により、すぐに対応することができましたが、私たちが気がつかずに何度もこのような連絡をいただくわけにはいきません。
急いで対応を検討し、実施する必要に迫られました。
対応策1: コスト Monitor の設置
第一の対策として、Datadog の工藤さんのアドバイスを元に、まずは推定使用量メトリクス を活用することにしました。
具体的には、Datadog のコストを監視する Monitor を設置しました。
平常時よりもコストが大きく増加した場合にアラートが送信されるように設定しました。
たとえば、APM 取り込みバイト (datadog.estimated_usage.apm.ingested_bytes) やログ取り込みバイト (datadog.estimated_usage.logs.ingested_bytes) などのメトリクスを利用して、通常の使用量を超えた場合にアラートが発生するようにしました。
また月間のログ転送回数など、事前にコミットしている使用量を超えた場合にもアラートが発生するように設定しました。
これにより、Datadog のコストが急激に増加した場合に、すぐに対応を取ることができるようになりました。
対応策2: チーム内での定期的なコストダッシュボード確認
第二の対策として、私たちのチームでは Datadog のコストダッシュボードを定期的に確認する時間を設けるようにしました。
チーム全体で Datadog のコスト、ひいてはシステムの運用にかかるコストに対する意識を高めることが目的です。
具体的には、毎週チームで集まってコストダッシュボードを確認し、予期しない利用がないかをチェックしています。
もし利用量の増加や意図しないサービス利用が見つかった場合は、調査を行った上で必要に応じてコミットしている使用量の見直しも含めて対応方針を検討しています。
対応策3: Workflow Automation の活用
第三の対策として、Workflow Automation を活用しました。
異常を検知すると、JIRA の issue を自動的に作成するワークフローを設定しました。
通知だけだと見逃してしまい、対応が遅れる可能性があるためです。
issue 化することによってチーム内で対応状況を共有しやすくなり、迅速な対応が可能となりました。
今後の予定になりますが、関係者のみんなと協力して以下のように Workflow Automation を活用した自動化も実施していこうと考えています。
- ログや APM の取り込み量が一定の閾値を超えた場合に、自動的にログのインデックスを停止する
- Datadog Forwarder の停止
- RUM のサンプリングレートを下げる設定変更
私は Workflow Automation が大好きなサービスで、大きな大きな可能性を感じています。
生成 AI も呼び出すことができますので、将来的には自動でのインシデント対応など希望が膨らみます！
そうこうしているうちに、Bits AI も GA されていました。
Bits AI を単独で使ったり、Workflow Automation と組み合わせて使うこともできるようですので、今後の活用が非常に楽しみです。
まとめ
今回は、突然のアクセス増加による Datadog のコスト増加に対して、私たちが実施した 3 つの対策について紹介しました。
- コスト Monitor の設置
- 推定使用量メトリクスを活用した早期検知
- チーム内でのコストダッシュボード確認
- チーム全体のコスト意識向上
- Workflow Automation の活用
- JIRA issue 自動作成による迅速な対応
これらの対策により、コストの異常をすぐに検知し、チーム全体で迅速に対応できる体制を構築することができました。
Datadog は非常に強力なツールであり、私たちのシステムの安定性とパフォーマンスを維持する上で欠かせない存在となっています。
今後も Workflow Automation や Bits AI、今後 GA が予定されている Datadog MCP Server などの新機能を活用しながら、より効率的な運用を目指していきたいと思います。
最後に
弁護士ドットコムではいろいろなポジションのエンジニアを募集しています。
ぜひ一緒に働いてみませんか。ご応募をお待ちしております。
私たち SRE 室もエンジニアを募集しています！
いろんなバックグラウンドを持つ私たちと、ぜひ一緒に働いてみませんか。ご応募をお待ちしております。 F1 好きは特に大歓迎です!
Platform Engineer も絶賛募集中です。
社内向けに LiteLLM の運用などを行っており、他にもやりたいことはたくさんあります。
ぜひ一緒に試行錯誤して行きましょう！