Crawler Configuration options の効果をみていく

今回使うGlueのリソース名

クローラー名

se2_in8
se2_out11

ジョブ名

se2_job11

データ

入力:in8
出力:out11

全体の流れ

前準備
Crawler Configuration option　のデフォルト値確認
Configuration option の確認
AWS Glue でデータストアの削除後のオブジェクトはどのように扱いますか？

前準備

今回使うサンプルログファイル(19件)

Glueの使い方的な②(csvデータをパーティション分割したparquetに変換)のジョブをse2_job10、入力データをin8、出力データをout11として今回利用する。

上記で実行した処理は以下のCSVファイルをyear,month,day,hourでパーティション分割している。

元となったCSVファイルcvlog.csv

deviceid,uuid,appid,country,year,month,day,hour
iphone,11111,001,JP,2017,12,14,12
android,11112,001,FR,2017,12,14,14
iphone,11113,009,FR,2017,12,16,21
iphone,11114,007,AUS,2017,12,17,18
other,11115,005,JP,2017,12,29,15
iphone,11116,001,JP,2017,12,15,11
pc,11118,001,FR,2017,12,01,01
pc,11117,009,FR,2017,12,02,18
iphone,11119,007,AUS,2017,11,21,14
other,11110,005,JP,2017,11,29,15
iphone,11121,001,JP,2017,11,11,12
android,11122,001,FR,2017,11,30,20
iphone,11123,009,FR,2017,11,14,14
iphone,11124,007,AUS,2017,12,17,14
iphone,11125,005,JP,2017,11,29,15
iphone,11126,001,JP,2017,12,19,08
android,11127,001,FR,2017,12,19,14
iphone,11128,009,FR,2017,12,09,04
iphone,11129,007,AUS,2017,11,30,14

今回利用する出力データ(out11)をクローリングしたスキーマ情報

Athena によるデータ内容確認

Athena によるデータ件数確認

19件

ディレクトリ構成

in8に入力ファイル、out11に出力ファイル

$ aws s3 ls s3://test-glue00/se2/in8/
2018-08-12 10:32:00          0 
2018-08-12 10:34:17        691 cvlog.csv

$ aws s3 ls s3://test-glue00/se2/out11/
                           PRE year=2017/
2018-08-12 10:37:11          0 
2018-08-12 10:52:53          0 year=2017_$folder$
$ aws s3 ls s3://test-glue00/se2/out11/year=2017/
                           PRE month=11/
                           PRE month=12/
2018-08-12 10:52:53          0 month=11_$folder$
2018-08-12 10:52:53          0 month=12_$folder$

Crawler Configuration options のデフォルト値確認

(いつの間にかGlueコンソールが日本語になっていた)

Configuration option の確認

クローラがデータストアのスキーマ変更を検出した場合に、AWS Glue はデータカタログでテーブルの更新をどのように取り扱いますか？

Glueの使い方的な⑭に書きました

AWS Glue でデータストアの削除後のオブジェクトはどのように扱いますか？

要するに元データが消えたらテーブルどうしますか？という設定。

選択できるオプションは以下の３つです

⑤ データカタログからテーブルを削除する
⑥ 変更を無視して、データカタログのテーブルを変更しない
⑦ データカタログで廃止されたテーブルにマーキングする

⑤ "データカタログからテーブルを削除する"

クローリングした際、元データが削除するとテーブルも削除される

実データ(今回だとS3上のデータ)を削除後、クローラー実行するとテーブルse2_in8が削除されました
以下のようにテーブルの更新はゼロと言う表示ですがテーブルは消えてます

ログ見るとデータないからDeletingって出てます

⑥ "変更を無視して、データカタログのテーブルを変更しない"

クローリングした際、元データを削除してもテーブルはそのまま変更しない

実データ(今回だとS3上のデータ)を削除後、クローラー実行するとテーブルse2_in8は残りました。

表示は⑤と似たような感じです

⑦ "データカタログで廃止されたテーブルにマーキングする"

クローリングした際、元データが削除するとテーブルに廃止フラグを立てる

実データ(今回だとS3上のデータ)を削除後、クローラー実行するとテーブルse2_in8のプロパティに"DEPRECATED_BY_CRAWLER"が追加されている

※"廃止"のところがいいえ -> はいになるかと思ったが違った(要確認)

クロールする前のテーブル情報はこちら

廃止について(公式ドキュメントより)

AWS Glue により、Data Catalog のテーブルは元のデータストアに存在しなくなったことが分かると、
そのテーブルは廃止されたとしてデータカタログにマークされます。
廃止されたテーブルを参照するジョブを実行する場合、ジョブは失敗する可能性があります。
廃止されたテーブルを参照するジョブを編集し、ソースおよびターゲットとして削除します。
廃止されたテーブルが不要になったら削除することをお勧めします。

こちらも是非

AWS Glue コンソールでのクローラの設定
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/crawler-configuration.html

Glueの使い方まとめ
https://qiita.com/pioho07/items/32f76a16cbf49f9f712f

Glueの使い方的な⑮(クローラー(Crawler)のConfiguration option その２)