シリーズ目次

AWSでデータ分析基盤構築をサクッと始めてみる（1.データカタログ作成編（行指向））
AWSでデータ分析基盤構築をサクッと始めてみる（2.行指向から列指向に変換編）
AWSでデータ分析基盤構築をサクッと始めてみる（3.データカタログ作成編（列指向））
AWSでデータ分析基盤構築をサクッと始めてみる（4.Athenaでアドホック分析編）
AWSでデータ分析基盤構築をサクッと始めてみる（5.Lambdaで分析自動化編）

2. 行指向から列指向に変換編

本章では、行指向（CSV形式）→列指向（parquet形式）にデータ変換しようと思ってます。
それでは、GlueのETLジョブ（Spark）を使って、parquet形式変換にチャレンジしましょう！

（１）ジョブの作成
　　GlueよりETL jobを選択し”Visual with a source and target”を選択していることを確認し作成（"Create"ボタン押下）
図）”ETL jobs”画面

図）”Visual”タグの初期画面

　　①Data Source（S3 bucket）の設定
　　　・Name：S3 bucket input　←名前はなんでもいいです
　　　・S3 Source type：
　　　　・S3locationの場合、S3に保管したファイルを入力
　　　　　　ex.)　s3://test_bucket/input/
　　　　・Data Catalog tableの場合、前章で作成したテーブルを選択
　　　・Data format：CSV
　　　・Delimiter：Comma(,)
　　　・Quote character：Disable　←適切なものを選択
図）”Data source properties - S3”画面

　　②Transform ApplyMappingの設定
　　　※必要があれば、ここでスキーマのカラムのデータ型を変更
　　③Data Target（S3 bucket）の設定
　　　・Name：S3 bucket output　←名前はなんでもいいです
　　　・Format：Parquet
　　　・Compression Type：Uncompressed　←とりあえず圧縮しない
　　　・“S3 Target Location”にparquet形式後のファイルを保管する用のフォルダのS3 URLを指定
　　　　ex.)　s3://test_bucket/output/
図）”Data target properties - S3”画面

図4）設定完了後・・・すべてに完了チェックが入っている

　　④あとは、”Job details”タグにて必要項目を埋めて”Save”ボタン押下
　　　・JobName：適当なジョブ名を指定
　　　・IAM Role：適切なロールを指定
　　　・Type：デフォルト（Spark）
　　　・Glue version：デフォルト（spark 3.3, Python 3）
　　　・Language：デフォルト（Python 3）
　　　※2023/08時点で最新のもの（デフォルト）

（２）ジョブの実行
　”Run”ボタン押下
　“Run”タブよりジョブが成功していることを確認したらS3に移動しparquet形式後のファイルを保管する用のフォルダにparquet形式のファイルが格納されていることを確認

本章はこれで終わりです。どうもお疲れ様でした。
引き続き、次の章にチャレンジしてください！

AWSでデータ分析基盤構築をサクッと始めてみる（3.データカタログ作成編（列指向））

参考文献

AWS公式サイト
AWS Glue