Glueの使い方的な⑬(Glueを試してみる！チュートリアル集)

Glueを操作するチュートリアル集です

今後、随時追加していきます

公式Big Data Blog関連

1. AWS Developer Toolsを使用したサーバレスなAWS Glue ETLアプリケーションの継続的インテグレーションとデリバリの実装

Glue jobに対するCI/CDの構築。CodeシリーズのCode Commit,Code Build,Code PipelineやCloudFormationを活用。
CodeCommitのプッシュの検出でCodePipleをスタートさせ、CloudFormationやCodeBuildを使いGlueやLambdaなどが含まれたテスト環境を作りテストを実施します、次にCodePipelineのApproval機能で承認フェーズを挟んだ上で手動承認を行うとテスト環境のクリーンアップし、最後に本番デプロイを行う
CloudFormationにLambdaのコードがそのまま書かれていますがそこはチュートリアルということで;

1. AWS Glue と Amazon S3 を使用してデータレイクの基礎を構築する

ニューヨークのタクシーデータを使い、csv->parquetに変換するシンプルなGlue job実行。ジョブの実行結果をAthenaでクエリを行い、csvとparquetによる速度の差を確認すする

1. AWS Glueを使用した解析処理のためのデータの抽出、変換、および読み込み方法 パート2

2. Data Lake ハンズオン

AWSでデータレイクを構築します。その過程でGlueによるETL処理を試すことができます。

re:Invent関連

TODO

ユーザーさん関連

TODO

その他

Glueの使い方まとめ
https://qiita.com/pioho07/items/32f76a16cbf49f9f712f