S3上の長期保存ログ削除でハマった話

はじめに

• 現在AWSシステムのインフラ維持管理を担当しているが、S3上に長期保管しているログの削除運用においてハマったポイントと対策方針について共有します

該当条件(主に本投稿を確認頂きたい方)

• S3に対し「バージョニング(世代管理)」を有効化し利用している
• S3に対し「ライフサイクルルール」を設定し、オブジェクトの削除を行っている

何が起こっていたのか

• S3上に長期保管要件があるデータを保管しており、保存要件の期間を過ぎたログが自動でファイルデータごと削除される運用を想定し、予め以下のようなS3ライフサイクルルールを実装していた

（設定イメージ抜粋)

ライフサイクルルール番号	設定分類	項目	値
ルール1	ライフサイクルルールのアクション	オブジェクトの現行バージョンを有効期限切れにする	有効(チェックを入れる)
	オブジェクトの現行バージョンを有効期限切れにする	オブジェクト作成後の日数	365

• 実際はAWSコンソール上も過去のファイルは通常表示されないが、見えていないだけで本来削除されるべき実態のファイルは残り続けている状態だった

【結論】本来どうすればよかったのか（設定方針）

(1)設計ポイント

• 有効期限切れとなったデータ含め完全削除するためには以下2種類のS3ライフサイクルルールの設定が必要となる

ライフサイクルルール番号	ルール概要	ルール目的
ルール1	過去バージョンのオブジェクト(実態ファイル含め)を削除するためのルール	過去バージョンの実態ファイルを削除する
ルール2	有効期限切れのオブジェクト削除マーカーを削除するためのルール	最新バージョンである「削除マーカー」自体を削除する

• 具体的には以下のような2種類のライフライクルルールを設定することで有効期限切れとなった全てのデータを削除することが可能となる（※青字：ルール追加箇所、赤字：既存ルール変更箇所）

ライフサイクルルール番号	設定分類	項目	値
ルール1	ライフサイクルルールのアクション	オブジェクトの現行バージョンを有効期限切れにする	有効(チェックを入れる)
		オブジェクトの非現行バージョンを完全に削除	有効(チェックを入れる)
	オブジェクトの現行バージョンの有効期限が切れる	オブジェクト作成後の日数	365
	オブジェクトの非現行バージョンを完全に削除	オブジェクトが現行バージョンでなくなってからの日数	1
ルール2	ライフサイクルルールのアクション	有効期限切れのオブジェクト削除マーカーまたは不完全なマルチパートアップロードを削除	有効(チェックを入れる)
	有効期限切れのオブジェクト削除マーカーまたは不完全なマルチパートアップロードを削除	期限切れのオブジェクト削除マーカーを削除する	有効(チェックを入れる)

（設定イメージ例）

(2)その他考慮ポイント

• オブジェクトストレージに「フォルダ」という概念は本来無く、ファイル管理をしやすくするためAWSコンソール上で「フォルダを作成」をすると、0バイトのフォルダオブジェクトを作成して、疑似的にフォルダ(プレフィックス)のように見せている
  • (必須ではないが)フォルダもS3ライフサイクルルールの削除対象として扱われるため、実ファイルのみ削除対象とするためには、削除対象の最小サイズを「1バイト」と設定する（設定しない場合、フォルダ(プレフィックス)配下のデータが0個(0バイト)になったタイミングで該当のフォルダはライフサイクルルールにより削除される)
• ルール1だけ設定した場合、削除マーカーが残り続けるためルール2を追加設定することで完全に関連データを削除させる
  • 削除マーカー自体は0バイトで特に容量を圧迫することはなく残しても問題ないと判断する場合、設定必須ではない

最後に

• 「削除マーカー」といった固有の概念もあり、S3上のバージョン管理されたファイルを自動削除させるための運用設計がわかりづらいと感じたため、本投稿にてまとめました
• 今後同じ過ちを繰り返す人が少しでも減らせることができれば幸いです

[参考]その他用語説明・補足など

• 削除マーカーとは？
  (公式マニュアル)

• オブジェクトの有効期限とは？
  (公式マニュアル)

• 過去バージョンのファイルを確認するためには？
  • [オブジェクト]タブ上の「バージョンの表示」を選択することで確認することが可能