0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

初めてのDatadog モニターとダッシュボード、CPU・メモリ・ディスクの見方

0
Posted at

初めてのDatadog モニターとダッシュボード、CPU・メモリ・ディスクの見方

Datadogとは何か

Datadog(データドッグ)は、 サーバーやアプリの状態を集め、見えるようにし、異常の発見や原因調査を助けるサービス です。

例えば、通販サイトで「商品ページが開くまでに時間がかかる」という問題が起きたとします。原因は、アクセスの増加、サーバーの計算能力不足、データベースの処理待ちなど、さまざまです。

Datadogを使うと、収集したデータを同じ時間帯で見比べて、次のような調査ができます。

  • ページが遅くなった時間に、アクセス数も増えていたか。
  • どのサーバーのCPUやメモリに余裕がなくなったか。
  • データベースへの問い合わせで時間がかかっていないか。
  • 同じ時間にエラーやプログラムの更新がなかったか。

イメージとしては、 システムの健康状態をまとめて確認する場所 です。体温だけで体調のすべてを判断できないように、CPU使用率だけでシステムの状態は判断できません。複数の情報を組み合わせることが大切です。

公式には「オブザーバビリティのプラットフォーム」と説明されています。オブザーバビリティとは、システムが出す情報から、内部で何が起きているかを理解できるようにする考え方です。

Datadogには監視以外にも開発・テスト・セキュリティなどの機能がありますが、この記事では初めて使う方向けに、モニター、ダッシュボード、CPU・メモリ・ディスクの見方を扱います。

仕様確認日:2026年11月11日。数値や画面の説明は公式資料に基づきます。主な例はDatadog Agentを導入したLinuxサーバーです。Windows、コンテナ、クラウド連携のみの構成では、収集できる項目が異なります。この記事の分析例は説明用であり、実際の障害を再現した結果ではありません。

出典:Datadog公式:What is Datadog?

最初に覚えたい、集める情報と仕組み

Datadogにログインしただけで、すべてのサーバーの内部が見えるわけではありません。対象からデータを送る設定が必要です。

用語 初めての方向けの説明 例
メトリクス 状態を表す、時刻付きの数値 CPU使用率、空きメモリ、1秒間のリクエスト数
ログ 何が起きたかを記録した文章やデータ 「接続に失敗した」「処理が終了した」という記録
トレース 1回の処理が、どのサービスを通って、どこで時間を使ったかをたどる情報 Webアプリからデータベースまでの処理時間
Agent サーバーなどに入れる、データ収集用のソフトウェア サーバー内部のCPU・メモリ情報を送る
インテグレーション 特定の製品やサービスと連携する仕組み AWS、MySQL、Nginxなどとの連携
タグ データを分類・絞り込みするための目印 env:production、service:web、host:server-a

「ホスト」は、ここでは監視対象のサーバーと考えてください。APMはApplication Performance Monitoringの略で、アプリの性能を調べる機能です。トレースなどを使って処理の流れを確認します。

例えば、CPUのグラフで気になる変化を見つけたら、その時間のログを読み、必要に応じてAPMで遅い処理を確認します。それぞれのデータを収集していることが前提です。

出典:Agent入門、インテグレーション入門、APM

モニターとダッシュボードは何が違うのか

最初は、 モニターは「条件を見張る仕組み」、ダッシュボードは「状態を見比べる画面」 と理解すると整理しやすくなります。

比較すること モニター ダッシュボード
主な目的 条件に該当したら異常として検知する 複数の情報をまとめて確認・分析する
使い方 対象、判定条件、通知先などを設定して動かす グラフを並べ、時間帯や対象を切り替えて見る
ディスクの例 使用率が設定した条件を超えたら通知する 使用率、空き容量、読み書きの遅さを見比べる
CPUの例 特定サーバーのCPU指標が一定期間高いと検知する アクセス数の増加とCPUの変化を見比べる
自分で見るタイミング 通知時、設定の見直し時など 通知後の調査、日常確認、構成変更前後など

ダッシュボードにグラフを置いただけで、そのグラフの異常通知が自動的に設定されるわけではありません。通知条件はモニター側で確認します。また、ダッシュボードの表示フィルターを変えても、モニターの監視対象が同じように変わるわけではありません。

ダッシュボードにモニターの状態を表示することもできます。別々の役割を持ち、組み合わせて使うものです。

出典:モニター入門、ダッシュボード

デフォルトで使えるのか、自分で設定するのか

基本的な収集機能や用意済みの画面を使い、自分たちのシステムに合わせて調整する のが基本です。ただし、何が自動で用意されるかには条件があります。

項目 標準機能・用意済みのもの 自分たちで確認・設定すること
収集の開始 Agentやインテグレーションが用意されている 対象へのAgent導入、連携の有効化、データが届くことの確認
CPU・メモリ SystemインテグレーションはAgentに含まれる OSによる項目の違い、対象ホスト、実際に届いているデータ
ディスク DiskチェックはAgentに含まれ、標準で有効 監視したいディスクが対象か、除外設定や特殊なマウントの扱い
ダッシュボード インテグレーションなどに用意済みのダッシュボードがある 必要な画面の選択、複製、グラフ・対象・時間帯の調整
モニター 新規Organization向けの自動作成機能や、設定のひな型がある 実際に存在するモニター、監視対象、しきい値、通知先、復旧条件
ログ・APM 収集・分析する機能がある 導入方式に応じた有効化、ログ収集設定、アプリへの計測設定など
自分の業務に固有の数値 必要に応じてカスタムメトリクスを送れる 受注件数や未処理件数など、何をどう送るかの設計

新規Organizationでは、モニターが自動作成される場合がある

2026年11月11日に確認した英語版の公式入門資料には、 新規Organization向けのAutomatic Monitors が記載されています。Organizationは、Datadog上で利用者や監視データをまとめる組織単位です。

この機能では、Agent導入後に利用している技術構成を検出し、基本的なモニターを自動で作成します。CPU・メモリ、Kubernetes、APMなどのモニターが含まれる場合があります。

したがって、「モニターは必ずすべて手作業で作る」とは言えません。一方で、すべての既存Organizationに、同じモニターや通知が設定済みだとも言えません。

まず Monitorsの一覧で、現在の設定を確認する のが確実です。自動作成されたものも編集・複製・無効化できるので、現場の対象や通知先に合っているかを見ます。

また、Monitor Templatesには用意済みの設定ひな型があります。自動作成されたモニターと、自分で選んで使うテンプレートは区別してください。

「カスタマイズ」と「カスタムメトリクス」は別

標準で集まるCPUのグラフをダッシュボードへ追加したり、ディスクの通知条件を変更したりすることは、設定のカスタマイズです。

これに対して、独自の「注文処理の待ち件数」などを送るのがカスタムメトリクスの例です。画面を自分向けに調整するだけで、必ず独自のメトリクスを開発する必要があるわけではありません。

ログ・APM・追加のメトリクスなどを有効化する場合は、収集対象と利用中の契約・課金条件も確認します。

出典:System、Disk、Automatic Monitorsの説明、Monitor Templates、ログ収集の設定、カスタムメトリクス

分析では、最初に何を見るのか

次の順番は、初心者向けに筆者が整理した確認手順です。Datadogが定める唯一の手順ではありません。

  1. 利用者に何が起きているかを確認する。 「遅い」「エラーになる」「保存できない」では、調べる入口が違います。
  2. 発生時間を合わせる。 例えば「14:00〜14:15」と決め、正常だった時間帯とも比べます。
  3. 対象を合わせる。 本番・検証環境、サービス名、ホスト名を確認します。
  4. CPU・メモリ・ディスクを見比べる。 一つの使用率だけで原因を決めません。
  5. ログ・トレース・変更履歴で確かめる。 デプロイ、バッチ、バックアップ、アクセス増加などとの関係を調べます。

「同じ時刻に数字が上がった」は、原因候補を見つける手掛かりです。それだけで原因が確定したことにはなりません。

CPU・メモリ・ディスクを身近なものに例える

資源 仕事場に例えると 主な確認ポイント
CPU 計算や判断をする作業者 計算処理に追われているか、別の処理を待っているか
メモリ 作業中のものを置く机 今の作業に使える余裕があるか
ディスク容量 書類を保管する棚 新しいデータを保存する空きがあるか
ディスクI/O 棚から書類を出し入れする作業 読み書きに時間がかかっていないか

I/OはInput/Output、つまり入力・出力です。ここでは主にディスクの読み書きを指します。

棚に空きがあっても、出し入れが遅ければ仕事は進みません。 ディスクでは、容量と読み書きの性能を分けて見るのがポイントです。

CPUは「高いか」だけでなく「何に時間を使っているか」を見る

CPUに注目する場面

  • 画面やAPIの応答が遅くなった。
  • バッチ処理が以前より長くなった。
  • アクセス増加に合わせて処理が詰まっている。

まず、問題が起きたサーバーのCPU指標を、同じ時間のリクエスト数や応答時間と比べます。応答時間は、要求してから返事が来るまでの時間です。

指標 意味 初心者が見るところ
system.cpu.user アプリなどのユーザー空間の処理に使ったCPU時間の割合 アクセスや処理量の増加と一緒に高くなったか
system.cpu.system OSのカーネル処理に使った割合 普段より増えていないか。OS側の処理負荷も調べる
system.cpu.idle CPUがアイドル状態だった割合 計算に使える余裕が減っていないか
system.cpu.iowait I/O待ちとして計上された時間の割合 ディスクなどの待ちを調べる手掛かり。これだけで原因を断定しない

これらのCPU指標の単位はpercentです。system.cpu.iowaitはWindowsでは利用できません。

例えば、リクエスト数とsystem.cpu.userが一緒に増え、応答も遅くなっているなら、アプリの計算処理が追い付いていない可能性があります。重い処理を調べたうえで、処理の改善やサーバー構成の変更を検討します。

一方、I/O待ちが目立つなら、CPUを増やす前にストレージやデータベース側を確認する価値があります。

よくある誤解

「CPUが80%だから障害」とは限りません。予定したバッチがCPUを使い、必要な時間内に正常終了しているなら、想定内の利用かもしれません。

逆に、ホスト全体の平均が低くても、特定のCPUコアや一つの処理に負荷が偏っている場合があります。CPUが低くても、ネットワークやデータベースの返答待ちでアプリが遅くなることもあります。

見るべきなのは、 普段との差、続いている時間、利用者への影響 です。

出典:SystemインテグレーションのCPUメトリクス

メモリは「使用中」より「使える余裕と増え方」を見る

メモリに注目する場面

  • アプリが時間の経過とともに重くなる。
  • プロセスが終了したり、コンテナが再起動したりする。
  • メモリ不足を示すエラーやOOMの記録がある。

OOMはOut Of Memory、メモリ不足のことです。ただし、再起動の原因はメモリ不足以外にもあるため、終了理由やログを確認します。

Linuxは、使っていないメモリをファイルのキャッシュにも使います。キャッシュとは、再利用しそうなデータを手元に置いておく仕組みです。このため、 「メモリをたくさん使っている」と「メモリが足りない」は同じではありません。

指標 意味 初心者が見るところ
system.mem.usable 利用可能な物理メモリ量 作業に使える余裕が減り続けていないか
system.mem.pct_usable 全体に対する利用可能メモリの割合 値は0〜1。0.10なら10%が利用可能
system.swap.used 使用中のスワップ領域の量 使用量だけでなく、現在の入出力や遅延も確認する

Linuxのsystem.mem.usableは、取得できる場合に/proc/meminfoのMemAvailableを使います。これは単なる空きメモリではなく、キャッシュなどの再利用可能性も考慮した推定値です。取得できない場合の計算方法もSystemの公式資料で説明されています。

スワップは、メモリの内容の一部をディスク側へ退避する仕組みです。頻繁な退避・読み戻しが処理の遅さにつながる場合があります。ただし、スワップが使用済みという数字だけでは、今まさに頻繁な入出力が起きているとは判断できません。

増え方を読む例

毎日同じ処理をしているのに、利用可能メモリが少しずつ減り、処理が落ち着いても戻らないなら、アプリがメモリを保持し続けていないかを調べます。メモリリークの可能性はありますが、キャッシュの成長など別の理由もあるので、これだけで断定しません。

コンテナでは、ホストに余裕があっても、コンテナに設定したメモリ上限に達することがあります。ホストの値だけでなく、対象コンテナの使用量・上限・終了理由を確認します。必要なコンテナ情報の収集が前提です。例えばKubernetesのリソース管理では、メモリ上限とOOMによる終了について説明されています。

出典:Systemのメモリ・スワップ指標、LinuxのMemAvailable

ディスクは「容量」「ファイルを作れるか」「読み書きの遅さ」を見る

保存できないとき:空き容量を確認する

指標 意味 確認すること
system.disk.in_use ディスク使用率を0〜1の割合で表した値 0.90なら90%使用中
system.disk.free 空き容量。単位はbyte あと何GB使えるか、どの速さで減っているか

90%使用していても、100GBのディスクと10TBのディスクでは残り容量が違います。使用率と空き容量の両方を見て、ログやデータが増える速度も確認します。

また、サーバー全体を平均すると、特定のディスクがいっぱいになったことを見落とすおそれがあります。 ホストとディスクごと に分けて確認してください。

例えば、OS用の領域は空いていても、ログを置く領域だけが満杯になることがあります。グラフのdeviceタグが、実際のどのディスクやマウント先に対応するかも確認します。

容量はあるのに作れないとき:inodeを確認する

Linuxのファイルシステムでは、ファイルやディレクトリの管理情報を持つinodeが関係する場合があります。細かいファイルが大量に増えると、容量より先にinodeが不足することがあります。

対応する環境では、system.fs.inodes.freeやsystem.fs.inodes.in_useを確認します。後者は0〜1の割合です。inodeの仕組みや制約はファイルシステムによって異なり、Windowsを含む全環境へ同じ見方を当てはめるものではありません。

空き容量やinodeに問題がなくても、権限、読み取り専用状態、割り当て上限などで書き込めない場合があります。エラーメッセージも併せて確認します。

遅いとき:I/Oの待ち時間を確認する

指標 意味 確認すること
system.io.await I/O要求の平均所要時間。待ち行列の時間と処理時間を含む 普段より読み書きが遅くなっていないか。単位はms、Linux向け
system.io.avg_q_sz I/O要求の平均キューサイズ 読み書きの要求がたまっていないか
system.io.r_s / system.io.w_s 1秒あたりの読み取り・書き込み要求数 I/Oの回数が増えていないか
system.io.rkb_s / system.io.wkb_s 1秒あたりの読み取り・書き込み量。単位はKiB/s 大量のデータ移動が始まっていないか

I/Oの回数はIOPS、単位時間あたりのデータ量はスループットと呼ばれます。例えば「細かい読み込みが大量に発生する」と「大きなファイルを連続して読む」では、負荷のかかり方が違います。

ディスクが空いていても、バックアップや大量の読み書きで待ち時間が増えることがあります。I/Oの待ち時間、キュー、処理量を同じ時間帯で見比べ、クラウドのディスクであれば契約・設定された性能上限も確認します。

なお、I/O使用率が100%に近いことだけで性能限界を断定するのも適切ではありません。並列処理できるSSDやRAIDなどでは、単独の使用率指標で余力を判断できない場合があります。

出典:Diskの容量・inode指標、SystemのI/O指標、iostatのawait・キュー・utilの説明

最初のダッシュボードは、小さく作る

最初から大量のグラフを作る必要はありません。用意済みのダッシュボードを探し、必要なら複製して、目的に合わせて調整します。公式資料では、用意済みのダッシュボードは一覧でPresetと表示され、複製にはClone dashboardを使うと説明されています。

例えば、Webサービスの初動確認用なら、次の構成から始められます。これは筆者の構成例です。

位置 表示する情報 答えたい問い
上段 リクエスト数・応答時間・エラー 利用者に影響が出ているか
中段 ホスト別のCPU、利用可能メモリ どのサーバーの余裕が減ったか
下段 ディスク別の使用率・空き容量・I/O待ち時間 保存先が足りないのか、読み書きが遅いのか

リクエスト数や応答時間は、Webサーバーの連携やAPMなど、その環境で収集している情報を使います。ホストのAgentだけで、アプリの情報がすべてそろうわけではありません。

表示対象には、環境・サービス・ホストを切り替えるフィルターを設けると便利です。ただし、使うタグが実際に付いていることを確認します。存在しないenv:productionを指定しても、本番データを自動で見つけてくれるわけではありません。

AWSの場合も、AWSインテグレーションによるクラウド側の収集と、サーバー内部のAgentによる収集は区別します。EC2の標準CloudWatchメトリクスだけで、OSのメモリ使用量やファイルシステムの空き容量がすべて取得できるわけではありません。

出典:用意済みのダッシュボード・複製、グラフのクエリと集約、EC2で利用できるCloudWatchメトリクス、CloudWatch Agentで追加収集できる指標

画面設計の参考:iret.media:障害初動の確認順をそろえるDatadog Dashboard設計。本節の構成表は、この記事の対象読者向けに作成したものです。

モニター設定の具体例:ディスクが埋まる前に気付く

ここでは、 ホスト・ディスクごとに、直近5分の平均使用率が90%を超えたら検知する という例を考えます。90%は説明用の値です。どのシステムにも適した基準ではありません。

設定画面では、メトリクス、対象、グループ分け、判定期間、しきい値、通知先を確認します。Metricモニターのクエリで表すと、次の形です。

ディスク使用率のモニタークエリ例
avg(last_5m):avg:system.disk.in_use{env:production} by {host,device} > 0.90

これは説明用のクエリで、今回Datadogへ登録して動作確認したものではありません。env:productionは実際のタグに合わせて置き換えます。

部分 意味
system.disk.in_use 監視するディスク使用率のメトリクス
{env:production} このタグに一致するデータを対象にする
by {host,device} ホスト・ディスクごとに分ける
内側のavg: 同じグループに含まれる系列を平均で集約する
avg(last_5m) 直近5分間の値を平均して評価する
> 0.90 評価した割合が0.90、つまり90%を超えたら検知する

system.disk.in_useは0〜1の割合です。 90%を監視したいときに、しきい値へ90を入れない よう注意してください。同様にsystem.mem.pct_usableも0〜1です。メトリクス名や見た目だけで単位を推測せず、Disk・Systemの公式の定義と設定画面を確認します。

しきい値だけでは運用は完成しない

次の項目も設定・確認します。

  • 通知先: 誰が、どの通知手段で受け取るか。
  • 対応手順: どのホスト・ディスクを確認し、何を調べるか。
  • 復旧条件: どの状態に戻ったら正常とみなすか。
  • データ欠損時の扱い: データが来ない場合にどう扱い、必要なら通知するか。

データが来ない状態は、使用率が0%という意味ではありません。Agent停止や通信不良なども候補になります。欠損の扱いはモニターの種類・設定によって異なります。また、No Data通知には、過去にデータを受け取って評価していることなどの条件があります。存在しないタグを指定した新規モニターで、必ず欠損通知が出ると考えないでください。

出典:公式のディスク監視例、Metricモニター、モニターの設定と欠損データ

グラフは高いのに、通知が来ないのはなぜか

まず、ダッシュボードとモニターで、次が一致しているかを確認します。

確認すること 食い違いの例
メトリクス CPU全体のつもりで、system.cpu.userだけを監視している
対象 ダッシュボードは全環境、モニターは本番だけ
グループ分け グラフは1台、モニターは複数台を平均している
集約方法 グラフは最大値、モニターは平均値
評価する期間 瞬間的な山を見ているが、モニターは5分平均で判定する
単位 0〜1の割合と0〜100の百分率を混同している
通知設定・状態 アラート状態でも、通知先やミュートの設定を確認していない

例えば、同じ重みの5点が10%、10%、10%、10%、90%なら、平均は26%、最大は90%です。平均を判定するか、最大を判定するかで結果は変わります。

また、「5分平均が80%を超える」は「5分間のすべての値が80%を超え続ける」と同じ意味ではありません。

ダッシュボードのグラフも、長い期間を表示すると、描画のために時間方向へデータが集約されます。細かい山が気になる場合は、時間範囲を狭め、集約方法を確認します。

出典:モニターの集約方法、ダッシュボードのクエリ・時間集約

症状から考える、調査の練習

次は架空の例です。数値は原因を確定する基準ではなく、次に調べることを考えるための材料です。

症状・観測したこと 次に見ること この段階で断定しないこと
アクセス数増加と同時にCPUのuserが上がり、応答が遅くなった ホストごとの差、重い処理、APMやプロファイルなどの計測情報 CPUを増やせば必ず直る
数時間かけて利用可能メモリが減り、アプリが再起動した 終了理由、OOMの有無、プロセス・コンテナの使用量と上限 必ずメモリリークである
ログを書けない。ディスク使用率が上昇している 対象の保存領域、空き容量、増加したファイル、inode、エラー内容 不要と思ったファイルを削除してよい
ディスク使用率は50%だが、I/O待ち時間が普段より長い キュー、読み書き量、バックアップ、ストレージの性能上限 容量が空いているからディスクは正常
CPU・メモリ・ディスクに大きな変化がないのに遅い アプリのトレース、DBの待ち、ネットワーク、外部API インフラに原因があるはずだ

調査結果は、「いつ」「どの対象で」「何が普段と違うか」「利用者への影響」「次に確かめること」を短くまとめると、他の人へ相談しやすくなります。

ケーススタディ:ECSのタスク数を増減するとき、何を確かめるか

ECSでタスク数を変更するとき、実務で知りたいのは次の2点です。

  • 増やすとき:追加したタスクを、基盤や接続先が問題なく動かせるか。
  • 減らすとき:残ったタスクが増えた担当分を処理し、必要な応答時間やエラー率を維持できるか。

つまり、増やすときは「受け皿の余力」、減らすときは「残るタスクの処理能力」を確認します。さらに、どちらも最後は利用者への影響で判断します。

前提:タスク数は「同じアプリの担当者の数」

ECSのタスクは、タスク定義に基づいて実行される単位です。1タスクには、一つ以上のコンテナを含められます。タスク数とコンテナ数は必ずしも同じではありません。

ここでは、希望する数のタスクを維持する REPLICA方式のサービス を扱います。通常のWebアプリで使う例として、次の3つを分けると、設定画面の意味が分かりやすくなります。

用語 役割 店舗に例えると
タスク定義 使うコンテナイメージ、CPU・メモリ、環境変数などを記述する設定 担当者の仕事内容と必要な道具を決めた作業手順書
タスク タスク定義に基づき、実際にコンテナを動かす実行単位 実際に仕事をしている担当者
サービス 希望するタスク数を維持し、必要に応じて代わりのタスクを起動する仕組み 必要な人数をそろえる担当者

例えば、1つのサービスの希望タスク数を2にすると、そのサービスは2タスクが動く状態を目指します。1タスクが停止すれば、新しいタスクを起動して不足分を補おうとします。ただし、配置先の不足や起動エラーがあれば、すぐに2タスクへ戻れるとは限りません。

今回の「タスク数を2から4へ増やす」は、1つのサービスの希望タスク数を変更する話です。サービスを4個作る操作でも、1タスク内のコンテナ数を増やす操作でもありません。

サービスを使わず、単発タスクとして実行する方法もあります。例えば、一度だけ実行するデータ処理やバッチです。単発タスクを実行するだけでは、終了後にサービスが希望数を維持するような補充は行われません。スケジュール実行や再試行が必要な場合は、それに対応する仕組みを別に組み合わせます。

サービスの維持機能と、Service Auto Scalingも役割が異なります。サービスは「希望数を保つ」、Auto Scalingは「負荷などに応じて、その希望数を変える」と整理できます。

なお、EC2の条件に合う各コンテナインスタンスへ1タスクずつ配置するDAEMON方式もあります。この方式では、希望数を2から4へ変えるという説明をそのまま当てはめません。FargateはDAEMON方式に対応していません。

出典:ECSサービス、REPLICA・DAEMONの定義、スタンドアロンタスク、Service Auto Scaling

ここでは、ロードバランサーのALBがリクエストを振り分けるWebアプリを例にします。ログイン状態や永続データはタスクの外で管理し、どのタスクでも同じ要求を処理できる構成を想定します。

項目 このケースの設定
1タスクの構成 説明用にアプリコンテナ1個とする
1タスクのリソース設定 1 vCPU・2 GiBのメモリ
変更するもの サービスのタスク数
変更しないもの アプリのバージョン、1タスクのCPU・メモリ設定
数値の位置付け 仕組みを理解するための仮定。負荷試験の実測値ではない

タスクを2個から4個に増やしても、 1タスクが2 vCPU・4 GiBへ強化されるわけではありません。 同じ設定の実行単位が増えます。Datadog Agentなどを同じタスクに入れる本番構成では、それらのコンテナが使う分も含めて考えます。

出典:タスク定義、ECSサービス

最初に、EC2で動かしているか、Fargateかを確認する

「ハードウェアに余裕があるか」の確認方法は、実行基盤によって違います。ここでは通常のECS on EC2とFargateを比較します。

観点 ECS on EC2 AWS Fargate
実行基盤の管理 EC2の台数・サイズ・設定を管理する 物理ホストの管理をAWSへ任せる
増やす前の確認 配置可能なCPU・メモリと、実際のホスト負荷 タスク起動、利用枠、ネットワークなどの起動条件
動いた後の確認 ホストとコンテナの両方。CPU・メモリ・ディスクI/O・ネットワークの競合 タスク・コンテナの使用量と上限、応答時間、接続先の余力
台数を増やす意味 同じEC2へ追加するだけなら、EC2自体の計算能力は増えない 追加タスクにCPU・メモリを割り当てる。起動やヘルスチェックの完了は必要

EC2では、 配置できることと、負荷がかかっても性能を出せることは別 です。予約・割り当ての数値と、動作中の実使用量の両方を見ます。

また、ECSサービスのタスク数を増やす設定と、EC2の台数を増やす設定は別です。EC2側の自動増減を連動させるには、キャパシティプロバイダーなどの構成が必要になります。

出典:タスクを配置できない場合のサービスイベント、ECSクラスターの自動スケーリング、DatadogのFargate監視

ケース1:増やしたいが、EC2側のメモリが足りない

現在2タスクが稼働し、4タスクへ増やすことを考えます。このケースでは、配置判定で必要になる予約量も1タスクあたり1 vCPU・2 GiBとします。配置条件を単純化し、追加配置に使えるリソースが次の状態だったとします。

項目 追加配置に使える量 2タスク追加するために必要な量
CPU 2 vCPU 2 vCPU
メモリ 3 GiB 4 GiB

CPUは足りても、メモリが足りません。希望タスク数のDesiredを4にしても、実行中のRunningが4になるとは限りません。例えば1個だけ追加できて、Runningが3のままになる場合があります。

このときは、アプリのCPUグラフを眺める前に、 DesiredとRunningの差、サービスイベント、配置可能なリソース を確認します。

さらに、複数のEC2の空きを合計すると足りていても、1タスクを載せられるEC2がなければ配置できません。ネットワークインターフェースや配置制約などが原因になる場合もあります。

対応候補は、EC2の追加・サイズ変更、配置や予約設定の見直しです。配置するためだけにメモリ設定を小さくすると、稼働後のメモリ不足を招く可能性があるため、アプリの必要量も確かめます。

特にEC2では、 メモリの予約量と使用上限を分けて設定できる 点に注意します。コンテナのmemoryReservationはソフトリミットで、memoryはハードリミットです。タスク全体のメモリ設定も含め、実際に配置判定で使われる予約量を確認してください。上限が2 GiBだから必ず2 GiBを予約している、と見積もらないことが大切です。

出典:ECSの配置とリソース不足、タスク配置戦略、タスク・コンテナのメモリ設定

ケース2:増やして起動できたが、同じEC2上で取り合いになる

2タスクを動かしているEC2が、すでにCPUをほぼ使い切っている場面を考えます。

設定上は追加タスクを配置できたとしても、同じEC2へタスクを増やすだけでは、そのEC2のCPU能力自体は増えません。アプリの並列処理の仕組み次第では改善する場合もありますが、 ホスト全体の計算能力が足りない状態を、タスク数だけで解決できるとは限りません。

観測したこと 次に確かめること
Runningは増えたが、応答時間が改善しない ホストCPUと、タスク・コンテナごとのCPU使用量・制限
コンテナのメモリ使用量が増え、ホストの余裕が減った プロセスやキャッシュがタスクごとに増えた影響
ディスクの待ち時間が増えた 同じストレージへのログ出力・読み書きの競合
ネットワーク転送が増え、処理が遅い ホストや接続経路の帯域・接続先の制限

このケースでは、ホスト側の容量・性能を増やす必要があるのか、アプリ側の処理を改善する必要があるのかを切り分けます。

Fargateでは物理ホストの空きを利用者が直接管理するわけではありません。ただし、タスクが設定したCPU・メモリの範囲で処理できるか、共有のDBやストレージに余裕があるかは引き続き確認します。

ケース3:4タスクから2タスクへ減らして、性能を維持できるか

今度は、実行基盤に必要な余力があり、要求を均等に振り分けられるものとします。サービス全体へ毎秒240件のリクエストが来て、1件の処理にCPUを5ミリ秒使う単純なモデルです。

必要なCPU量は、毎秒240件×0.005秒で、全体として約1.2 vCPU相当です。OS・Agent・アプリの常駐処理などの負荷は、この計算では省略しています。

タスク数 1タスクあたりの担当件数 1 vCPUの枠に対する計算上の必要量 見方
4 毎秒60件 約30% CPUには余裕がある想定
2 毎秒120件 約60% 2タスクでも処理できるかを確認する候補
1 毎秒240件 約120%相当 1 vCPUでは要求された処理量に追い付かない

最後の120%は、Fargateの1 vCPUタスクで実際に120%の性能が出るという意味ではありません。 必要な処理量が、用意したCPU能力を上回る という計算です。処理待ちやタイムアウトが増える可能性があります。

4から2に減らした場合も、CPUが約60%なら成功と決めてはいけません。次をセットで確かめます。

  • 応答時間のp95が、業務で必要な目標を満たすか。p95は、応答の約95%がその時間以下に収まる目安です。
  • エラー率、タイムアウト、処理待ちが悪化していないか。
  • タスクごとのメモリ使用量が上限へ近づいていないか。
  • 一方のタスクだけに負荷が偏っていないか。
  • ピーク時や、1タスクが停止した場合にも必要な処理能力を保てるか。

例えば、このモデルで2タスク稼働中に1タスクが停止すると、残る1タスクでは処理能力が不足します。「普段は動く」と「障害時にも必要な性能を維持できる」は別の判断です。

数値は期待される方向を説明するための仮定です。実環境では、接続の偏り、処理内容の違い、キャッシュ、並列処理数などで変わるため、変更前後の計測や負荷試験で確認します。

逆に2から4へ増やす場合、この単純モデルではCPU使用率が約60%から約30%になります。しかし、全体の仕事量である約1.2 vCPU相当が減ったわけではありません。割り当てた容量が増えたことで、割合が下がっています。

出典:ECSサービスのCPU・メモリ使用率の計算。上表の負荷・数値・判断例は筆者が置いた説明用のモデルです。

ケース4:CPUに余裕があっても、メモリやDBが先に限界になる

タスクを減らすと、残ったタスクで同時に処理する要求が増え、メモリやアプリのワーカー枠が不足することがあります。CPUに余裕があっても、メモリ上限で終了したり、処理待ちが増えたりする場合があります。

反対に、タスクを増やしてもメモリ使用量が単純に半分になるとは限りません。プログラム本体やキャッシュなど、タスクごとに必要なメモリがあるためです。1タスクにつき300 MiBの常駐部分があるモデルなら、その部分だけでも2タスクで600 MiB、4タスクで1,200 MiBになります。

接続先にも注目します。例えば各タスクのDB接続プール上限が20本なら、2タスクでは合計最大40本、4タスクでは最大80本という設定になります。これは接続枠の計算であり、必ずその本数で接続するという意味ではありません。

DBの処理能力や接続上限が原因で遅い場合、アプリのタスクだけ増やしても改善しないことがあります。並行してDBへ送る処理が増える構成では、DB側の待ちを悪化させる場合もあります。

また、Fargateの一時ストレージはタスク単位です。タスクを増やしても、既存タスクの空き容量が大きくなるわけではありません。共有ストレージを使っている場合は共有側の性能を確認し、タスクを減らす前にはローカルに永続データを置いていないかも確認します。

出典:Fargateのタスクストレージ。メモリの常駐量とDB接続数の例は、一般的な構成を単純化した仮定です。

Datadogで変更前後を比較する画面

ECSでは、前半で説明したホスト用のsystem.*だけで判断せず、サービス・タスク・コンテナの情報を組み合わせます。

確認する層 並べる情報 増やしたときの確認 減らしたときの確認
ECSの稼働状態 希望数、実行中、起動待ち、ヘルスチェック 希望数まで起動し、実際に要求を受けられるか 想定した数へ落ち着き、停止・再起動を繰り返していないか
EC2の基盤 ホストCPU、利用可能メモリ、ディスクI/O、ネットワーク 追加タスクで基盤が詰まっていないか 別サービスへの影響や余力の変化はどうか
タスク・コンテナ CPU・メモリの使用量と上限、OOM・再起動 個別の異常、追加したAgentなどの負荷はないか 残ったタスクの上限・並列処理枠に達していないか
利用者への影響 リクエスト数、応答時間p95、エラー率、処理待ち 利用者が待つ時間は改善したか 必要な性能を維持できているか
共有の接続先 DBの負荷・接続数・待ち、共有ストレージ 負荷を接続先へ押し付けていないか 接続プールやアプリ側の待ちが変わっていないか

例えばAWS連携のaws.ecs.cpuutilizationとaws.ecs.memory_utilizationは、クラスター・サービスの範囲を確認して使います。サービスの平均だけでは、特定のタスクの高負荷を見落とす場合があります。

ここでは、 「何に対する割合か」も確認します。 ECSのサービス使用率は、ホスト全体の容量に対する使用率とは分母が異なります。

例えば、メモリ使用率の分母にソフトリミットの予約量を使う場合、サービスのメモリ使用率は100%を超えることがあります。予約512 MiB、使用上限1,024 MiB、実使用768 MiBという単純な例なら、予約に対しては150%ですが、使用上限に対しては75%です。100%超えだけで上限到達やOOMを断定しません。

CPUも、EC2でコンテナ単位のCPU設定を基準にし、ホストの余ったCPUを利用できる構成では、サービス使用率が100%を超える場合があります。タスク全体のCPU上限を指定する場合とは区別します。前のケース3の120%は、1 vCPUの上限に対して必要な処理量を計算した値であり、実測したサービス使用率ではありません。

出典:ECSサービス使用率の計算・100%を超える条件

詳細なコンテナ情報やトレースには、それに対応した収集設定が必要です。DatadogのFargateインテグレーションでは、アプリと同じタスクにAgentコンテナを含める設定が案内されています。希望数・実行中・起動待ちはECS画面とも照合し、Datadogにどの経路で収集されているかを確認してください。

比較時は、タスク数以外の条件もそろえます。リクエスト数や内容、アプリのバージョンが違えば、性能差をタスク数の変更だけに結び付けられません。

出典:DatadogのECSインテグレーション、Fargateの設定と取得メトリクス

台数変更の途中と、料金も確認する

増やす場合は、起動・初期化・ヘルスチェックが終わり、実際にリクエストを受けられるまで時間がかかります。減らす場合は、ALBからの登録解除時の待機と、アプリが終了通知を受けて処理中の要求を終える仕組みを確認します。タスク数を変えるだけで、無停止が保証されるわけではありません。

実際の変更では、比較する負荷、観測する期間、応答時間やエラー率の許容値、元へ戻す条件を先に決めます。Service Auto Scalingを使っている場合は、最小・最大タスク数、ポリシー、クールダウンも確認し、手動の変更がそのまま維持されると思い込まないようにします。

料金は、実行基盤によって見方が変わります。

  • Fargate: 同じCPU・メモリ設定、同じ稼働時間・単価で2から4タスクへ増やすと、そのCPU・メモリの利用料金は概ね2倍になります。CPU使用率が下がっても、割り当てを増やした分の料金は発生します。
  • ECS on EC2: タスクを減らしても、EC2を同じ台数・サイズで動かし続ければ、そのEC2利用分が自動で安くなるわけではありません。

どちらも、ALB・DB・通信・ストレージなどを含むシステム全体の料金が、タスク数に比例するわけではありません。Savings Plansなどの契約がある場合は、使用量の減少と請求額の減少も分けて確認します。

出典:接続ドレイニングと終了処理、Service Auto Scaling、Fargate料金、ECS料金

おわりに

初めてDatadogを開いたら、まず対象のデータが届いていることを確認し、用意済みのダッシュボードとモニターを見てみてください。そのうえで、一つのサーバーについて「普段のCPU」「利用可能メモリ」「ディスクの空きと読み書き」を説明できることを目標にすると、分析の土台ができます。

Wealthy Design株式会社では、Webシステム開発、クラウド活用、AIを使った業務改善に取り組んでいます。
AWS・Web開発・AI活用のご相談や、採用・カジュアル面談については、Wealthy Design株式会社公式LINEでもお問い合わせいただけます。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?