最近、相談されたことを備忘録として、記事化します。

発生している事象

背景

不要になった、スポットインスタンスは、スポットリクエストをキャンセルする
- 今回は、CloudFormationで展開しており、裏でリクエストが行われている
- キャンセルは手動で行う必要があった

起動時に以下のエラーが発生している

Client.InvalidKMSKey.InvalidState: The KMS key provided is in an incorrect state

指定しているAMI自体は、KMSを使っておらず、暗号化されていない。
何が起きているかさっぱりだった。

⇒起動できた。手動だとOK？

CloudTrailを確認
なぜ、起動できていないのか手掛かりになるログを探す

通常時

今回

⇒ユーザーが、InstanceLaunchになっている。
そんなユーザーはいない、、何者？

下の方の、イベントレコードを確認したところ、arnに以下が入っていた。

arn:aws:iam::{accountID}:role/aws-service-role/spot.amazonaws.com/AWSServiceRoleForEC2Spot

⇒上記のマネージドロールがEC2を起動しようとしている。

KMSの権限には、上記ロールへ権限付与されておらず。。

EC2を立ち上げようとして、指定しているKMSで暗号化しようとしたところ、
権限がなく、起動⇒エラー⇒再試行⇒大量の起動できなかったEC2たちがリストにというのが結果だった。

InstanceLaunchというユーザーは、スポットインスタンスという特性上、
入札額を上回ったり下回ったりした際に、停止・起動するユーザーだと思われる。

arn:aws:iam::{accountID}:role/aws-service-role/spot.amazonaws.com/AWSServiceRoleForEC2Spot

参考

最近、私がスポットインスタンスをCloudFormationで利用する場合は、
上記のカスタムリソースを一緒に組み込んでいます

AMIが変更されて、新しいスポットリクエストができた後に、
旧スポットインスタンスのリクエストをキャンセルしてくれるLambdaが作られます。

とても便利なので、CloudFormation × スポットインスタンスを利用する場合は、
組み込んでおいた方がよいでしょう

それでは、また！