背景

年明けから愛犬ツイートで1,500いいねに迫る勢いの @___nix___ です。

以前から話題になっている第1回 AWSコスト削減天下一武道会ではコスト削減がテーマですが、ここではコスト事故がテーマです。

請求額

CloudTrail の通常時は大体このような請求額でした。

今回の事故による請求額はこちら。

巨額な請求額であることは桁の数だけでも俯瞰できるかと思いますが、詳細は後述します。

コスト事故の経緯

インシデントの発生

とあるインシデントが発生し、大量のイベントログの調査が必要になりました。
CloudTrail の「イベント履歴」ではどうしても限界があり、CloudTrail Insights の力を借りることを決定しました。

CloudTrail Insights とは？

CloudWatch Logs Insights と同じようにクエリを実行することでデータを集計する機能です

調査の為に CloudTrail Insights を有効化

CloudTrail Insights を有効化、つまり データストアの構築 が必要になります。
具体的には Insights の画面で [Create Event data store] から有効化します。

調査

イベント履歴を Insights でクエリ検索してインシデントの原因調査が可能となり、無事インシデントが解消されました。
ここでは詳細を説明していませんが、 Insights は CloudWatchLogs Insights と同様の使用感です。

調査完了の為、 CloudTrail Insights を無効化

CloudTrail Insights を無効化、つまり データストアの構築 の停止を実施したことになります。

コスト事故に関する解説

約17時間で $10,000 の請求額

これは前述した「請求書」の内容の通りです。

何故？？

CloudTrail Insights の課金内容を紐解くと以下の通りでした。

説明 : 0.0000035 per event analyzed in US West (Oregon) region
使用量 : 3,097,675,901 Events （30億イベント）
金額 : USD 10,841.87
合計時間 : 約17時間

日時	Cost	実行時間	割合
某月/n日	$8,444.85	11:00(UTC) ～ 23:59(UTC) … 13h	78%
某月/n+1日	$2,398.78	00:00(UTC) ～ 04:00(UTC) … 4h	22%

※182,216,229 Events/h （1.8億イベント/時間）

CloudTrail Insights の有料利用枠は以下の通り。

100,000 Eventsあたり $0.35 ですので 30億 Events もあればそれはそれは...
つまり、 CloudTrail Insights のデータストア構築によるコスト肥大化が事故の原因です。

同じ事象に遭遇しない為に

CloudTrail のログ(S3)のファイルサイズを事前に確認すること

ポイントは CloudTrail Lake と同様、データストア構築の元となるログです。
このログが肥大化していると、当然データストア構築にコストが掛かってしまいますので注意です。

S3ログの設定場所

CloudTrail 証跡の「全般的な詳細」で確認できます。

S3ファイルサイズの確認方法

ログの場所が確認できたら「合計バケットサイズ」を確認しましょう。

このスクショだと 45.5TB 程のサイズですが、このレベルだと間違い無く事故りますので気を付けてください。

S3ログ肥大化し易い環境

あくまで経験則に過ぎませんが、CloudTrail のログが肥大化し易い環境は主に以下のようなサービスや運用に関わるものだと考えています。

大量のECSタスクスケジュール
- 根っこには Config
  - 更に根っこはリソースタイプ AWS EC2 NetworkInterface
Timestream のクエリ
- これはどこかで記事執筆の予定

特に Timestream は非常に便利な完全マネージド型時系列データベースですが、Timestream が必要となるような巨大なサービスを相手にする場合は多くのノウハウが必須になります。

今回はここまでとします。

編集後記

やはりこんな記事ばかり書いていると「おい、パリピ！お前んところは問題だらけじゃないか！」のご指摘はその通りなのかもしれません。（いや、そんな指摘は一度も受けたことないですが）

ただ、このような多くの経験や実績が積めるのも全ては「精神と時の部屋」のお陰なのです。

それでは皆さんもぜひこの「AWSコスト事故天下一武道会」に参加したい方は @___nix___ までご一報ください。

AWS CloudTrail Insights でガツンと請求された話し

背景

ランキング（認識している範囲）

現在までのランキング

本記事を含むランキング

請求額