3
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

CloudWatchイベントのGlue関連対応

Last updated at Posted at 2018-12-01

クローラーとジョブが対応

これで最低限捉えたいGlueの状態は拾えるかと思います。

(2019/01/11)ころ?アップデートがあり、"Glue Data Catalog Database State Change"と"Glue Data Catalog Table State Change"が追加されました。

スクリーンショット 0031-01-27 16.50.17.png

Glue Crawler State Change

Glue クローラーが、StartingやStopping,Readyは拾えなく、Failed,Started,Succeededと確定したステータスのようです。

公式には以下のステータスはこの種類あるようです(20181201現在)
CWイベントのとちょっと違いますね^^;

State - UTF-8 文字列 (有効な値: READY | RUNNING | STOPPING)。
クローラが実行中かどうか、または実行が保留中かどうかを示します

スクリーンショット 0030-12-01 9.07.26.png

Glue Job Run Status

現在のジョブ実行の状態。こちらは進行形のステータスがとれるようです。
RUNNING,STARTING,STOPPING

公式には以下のステータスはこの種類あるようです(20181201現在)

JobRunState - UTF-8 文字列 (有効な値: STARTING | RUNNING | STOPPING | >STOPPED | SUCCEEDED | FAILED | TIMEOUT)。

スクリーンショット 0030-12-01 9.07.39.png

Glue Job State Change

"detail-type": "Glue Job State Change"のイベントは、SUCCEEDED、FAILED、TIMEOUT、およびSTOPPEDに対して生成されます。

Glue Data Catalog Database State Change

"detail-type": "Glue Data Catalog Database State Change"のイベントは、CreateDatabase、DeleteDatabase、CreateTable、DeleteTable、およびBatchDeleteTableに対して生成されます。

Glue Data Catalog Table State Change

"detail-type":"Glue Data Catalog Table State Change"のイベントは、UpdateTable, CreatePartition, BatchCreatePartition, DeletePartition and BatchDeletePartitionに対して生成されます

参考

Glue with CloudWatch Events
https://docs.aws.amazon.com/glue/latest/dg/automating-awsglue-with-cloudwatch-events.html

Glueの使い方まとめ
https://qiita.com/pioho07/items/32f76a16cbf49f9f712f

3
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?