概要
Apache Iceberg
のV3から公式のTable Specとして、GEOMETRY
型, GEOGRAPHY
型の列が追加されました。
もはや『GeoParquet 2.0』ではなく普通のParquetの世界で地理空間情報が扱える
ようになり、オープンテーブルフォーマットの型でちゃんとサポートされたということですね。
『GeoParquet 2.0』から1年9カ月...ついに来ましたね
AWSでの利用(S3 Tables)
Apache Icebergといえば、Open Table Format (OTF) の代表格なわけですが、AWSでは、マネージドIcebergテーブルとしてAmazon S3 Tables
(AWS re:Invent 2024で発表されたS3の新機能)が提供されています。
- S3バケットの『メタデータ設定を作成』で、『テーブルバケット』を作成することで、Icebergテーブルを作成する。するとバケットのメタデータを管理し、検索を可能にしてくれます(これまでのように都度Glueテーブルを作る必要がなくなる。自動的なメンテもしてくれる)
- この
Apache Iceberg
では、Data LayerにてParquetをサポートしており、V3から公式にGEOMETRY
型,GEOGRAPHY
型がサポートされるわけですね -
Athena
では まだIceberg
のバージョン1.4.2
をサポート、とドキュメントにはありますが、v2のテーブルを作成できるのでv3もそのうち対応されるでしょう
何がうれしいのか
Geoparquet
推し(地理空間情報の技術者とか?)に、OTFの代表格であるApache Icebergの公式サポートが加わったことで、地理空間情報の分野でもクラウドネイティブ化が大いに盛り上がることでしょう(個人の感想です)
参考情報