AWS BatchでJobのterminateができない時
背景
Redshiftへのデータの登録をAWS Batchから行うテスト運用中
諸般の事情でInternetに出るのに、EC2を経由しないといけない
RedShiftにはInternetを経由してアクセス
状況
AWS Batchの初検証で、想定よりも処理が長引き、データの登録作業中にEC2が停止(スケジューラによるstop)した
AWS BatchのJobステータスがRUNNINGのままで数時間に渡り停止
WebコンソールからもcliからもCancelもTerminateも出来ない
Redshiftからは、Abort状態
対応1
ecsインスタンスをDRAININGしてみたが、DRAININGの状態のまま変化なし
EC2をterminateしてみたが、新なインスタンスが立ち上がってくる
対応2
https://forums.aws.amazon.com/thread.jspa?messageID=814563 を参考に、キューそのものを削除
(AWS Batch -> Job queues -> 該当するqueueを選択 -> Disable化 -> もう一度queueを選択 -> 上部のDeleteボタン)
備考
ecsが消え、インスタンスもしばらくすると自然とterminateされた