やりたいこと

最初に、日本郵政が公開している郵便番号データをAthenaテーブルとしてhive互換パーティションを設定して登録する
次に追加のパーティションにデータを出力して、MSCK REPAIR TABLEを実行して追加のパーティション情報をGlueに登録して追加のパーティションキーでデータが参照できることを確認する

郵便番号データをS3にアップロードする

日本郵政が公開している郵便番号データをS3にアップする
- s3バケット名は、PySparkコード上ではプレースホルダ{_s3bucket_input}として表記
- 東京都はtokyo、千葉県はchibaというフォルダを作成し、その下にCSVを配置

郵便番号データをAthenaに登録する

以下のPySparkコードで東京都のデータをParquet形式で出力し、Glueカタログにテーブルを登録する
- EMRを起動してspark-submitで実行
- 都道府県名カラムをパーティションキーとした
- 出力先のバケット名は、プレースホルダ{_s3bucket_output}として表記

#!/usr/bin/env python
# -*- coding: utf-8 -*-

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType

schema = StructType([
	StructField('jis_code', StringType(), True, {'comment': "全国地方公共団体コード"}),
	StructField('postal5', StringType(), True, {'comment': "（旧）郵便番号（5桁）"}),
	StructField('postal7', StringType(), True, {'comment': "郵便番号（7桁）"}),
	StructField('pref_kana', StringType(), True, {'comment': "都道府県名カナ"}),
	StructField('city_kana', StringType(), True, {'comment': "市区町村名カナ"}),
	StructField('address_kana', StringType(), True, {'comment': "町域名カナ"}),
	StructField('pref', StringType(), True, {'comment': "都道府県名"}),
	StructField('city', StringType(), True, {'comment': "市区町村"}),
	StructField('address', StringType(), True, {'comment': "町域名"}),
	StructField('flag1', StringType(), True, {'comment': "一町域が二以上の郵便番号で表される場合の表示（「1」は該当、「0」は該当せず）"}),
	StructField('flag2', StringType(), True, {'comment': "小字毎に番地が起番されている町域の表示（「1」は該当、「0」は該当せず）"}),
	StructField('flag3', StringType(), True, {'comment': "丁目を有する町域の場合の表示　（「1」は該当、「0」は該当せず）"}),
	StructField('flag4', StringType(), True, {'comment': "一つの郵便番号で二以上の町域を表す場合の表示（「1」は該当、「0」は該当せず）"}),
	StructField('flag5', StringType(), True, {'comment': "更新の表示（「0」は変更なし、「1」は変更あり、「2」廃止（廃止データのみ使用））"}),
	StructField('flag6', StringType(), True, {'comment': "変更理由　（「0」は変更なし、「1」市政・区政・町政・分区・政令指定都市施行、「2」住居表示の実施、「3」区画整理、「4」郵便区調整等、「5」訂正、「6」廃止（廃止データのみ使用））"})
])

def main():
	spark = SparkSession.builder \
		.config('hive.metastore.client.factory.class', 'com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory') \
		.config('spark.sql.sources.partitionOverwriteMode', 'dynamic') \
		.enableHiveSupport() \
		.getOrCreate()
	# s3から東京都のcsvデータを入力
	df = spark.read \
		.format('csv') \
		.option('header','false') \
		.option('encoding','Windows-31J') \
		.schema(schema) \
		.load('{_s3bucket_input}/tokyo/')
	# s3にparquet形式のデータを出力してGlueカタログにテーブルメタデータを登録
	spark.catalog.setCurrentDatabase('test')
	df.write.option('path','{_s3bucket_output}/zipcode') \
		.option('compression','snappy') \
		.mode('overwrite') \
		.partitionBy('pref') \
		.format('parquet') \
		.saveAsTable('zipcode')

if __name__ == '__main__':
    main()

s3には東京都のパーティションデータが出力されている
- {s3_bucket_output}/zipcode/pref=東京都/
Glueカタログに以下のスキーマ情報が登録される
パーティション情報は東京都のみ

追加のhive互換パーティションを出力する

今度は千葉県のcsvデータを入力してhive互換パーティションデータを出力する
- main関数を以下に変更して実行
- 'spark.sql.sources.partitionOverwriteMode'を指定することで、東京都のパーティションデータは保持され、追加の千葉県のデータがパーティションデータとして追加される
  - {s3_bucket_output}/zipcode/pref=千葉県/

def main():
	spark = SparkSession.builder \
		.config('hive.metastore.client.factory.class', 'com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory') \
		.config('spark.sql.sources.partitionOverwriteMode', 'dynamic') \
		.enableHiveSupport() \
		.getOrCreate()
	df = spark.read \
		.format('csv') \
		.option('header','false') \
		.option('encoding','Windows-31J') \
		.schema(schema) \
		.load('{_s3bucket_input}/chiba/')
	df.write.parquet('{_s3bucket_output}/zipcode', mode='overwrite', partitionBy='pref', compression='snappy')

この時点では、partition情報がGlueカタログに登録されていないので、千葉県のデータを参照することはできない

追加のパーティション情報をGlueに登録する

MSCK REPAIR TABLEを実行して追加のパーティション情報をGlueに登録する
- main関数を以下に変更して実行

def main():
	spark = SparkSession.builder \
		.config('hive.metastore.client.factory.class', 'com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory') \
		.enableHiveSupport() \
		.getOrCreate()
	spark.sql('MSCK REPAIR TABLE test.zipcode')

追加のパーティション（千葉県）がGlueに登録される

Athenaで追加のパーティション情報を参照できるようになる

さいごに

このようなETLジョブの要件として、１つ以上のパーティションを含む増分で登録するという要件が多いかと思います。今回の例ではこのようなケースで対応できる実装例を示してみました。