2
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Apache Icebergで地理空間情報の型(GEOMETRY, GEOGRAPHY)に対応(但しV3から)

Last updated at Posted at 2025-02-18

概要

Apache IcebergのV3から公式のTable Specとして、GEOMETRY型, GEOGRAPHY型の列が追加されました。
もはや『GeoParquet 2.0』ではなく普通のParquetの世界で地理空間情報が扱える
ようになり、オープンテーブルフォーマットの型でちゃんとサポートされたということですね。

『GeoParquet 2.0』から1年9カ月...ついに来ましたね:wink:
image.png

AWSでの利用(S3 Tables)

Apache Icebergといえば、Open Table Format (OTF) の代表格なわけですが、AWSでは、マネージドIcebergテーブルとしてAmazon S3 Tables(AWS re:Invent 2024で発表されたS3の新機能)が提供されています。

  • S3バケットの『メタデータ設定を作成』で、『テーブルバケット』を作成することで、Icebergテーブルを作成する。するとバケットのメタデータを管理し、検索を可能にしてくれます(これまでのように都度Glueテーブルを作る必要がなくなる。自動的なメンテもしてくれる)
  • このApache Icebergでは、Data LayerにてParquetをサポートしており、V3から公式にGEOMETRY型, GEOGRAPHY型がサポートされるわけですね
  • Athenaでは まだIcebergのバージョン1.4.2をサポート、とドキュメントにはありますが、v2のテーブルを作成できるのでv3もそのうち対応されるでしょう

何がうれしいのか

Geoparquet推し(地理空間情報の技術者とか?)に、OTFの代表格であるApache Icebergの公式サポートが加わったことで、地理空間情報の分野でもクラウドネイティブ化が大いに盛り上がることでしょう(個人の感想です):angel:

参考情報

  • Iceberg(V3)でのTable Spec
    image.png

2
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?