状況
AWS CloudWatch で、NetworkIn のグラフがこんな感じになる。
- NetworkIn / NetworkOut のグラフに巨大な値が表示される。
- 僅か5分の間に数十〜数百GB単位の転送が行われる。
- インスタンス毎に、毎回だいたい同じ高さのスパイクが出来る。
調査
- CPUやメモリの使用量には変化なし。
- 請求ダッシュボードに出てこない。（巨大トラフィック分の課金はされてない）
- VPC Flow Logsでトラフィックをキャプチャしても、それっぽいレコードが見当たらない。
そもそも、5分で300GBという事は、1GB/秒の転送速度だ。ちょっと現実的じゃない。
これは本当に起きていることなのか？
結論、m4インスタンスの問題でした
同様の現象で悩んでいる人を発見。
AWS Developer Forums: cannot explain huge traffic spikes in cloud watch monitor
AWSプレミアムサポートの人の回答
I had escalated this case to our internal team. I can confirm that there is an internal AWS issue ongoing with cloudwatch relating to m4 type instances and we are well aware of this issue. It is present on our side. We root-caused this issue to the on-host system that reports network bandwidth consumption. We are actively working on fixing this at priority. You will be charged only for the actual data consumption. In the interim, you can view the actual metrics using VPC Flow Logs.. > We apologize for any inconvenience caused by this issue.
「AWS内部の m4 タイプのインスタンス関連の問題で、優先度高めで修正中です。」
言われてみると、手元でもこれが出てるのは m4 インスタンスだった。
つまりAWS側のバグなので気にしなくてOKという事です。
日本語の情報が見当たらなかったので書いておく。