1.Data Cloud Summit 2024 にて Iceberg Table が GA された

結構大々的にData Cloud Summit2024にてGAの発表がありました。

私自身、Icebergを使ったことがないので、なんのこっちゃと思っていたので
実際に調べてみました。

Icebergを理解するためにはまず、データレイクハウスと言うものを理解しておく必要があります。

前段で先にまとめておくと
Icebergはデータレイクハウスを利用するために用いるもの。

データレイクハウスを使用するには、csvなどのファイルフォーマットだけでは使用できない。（スキーマ情報などが不足）

そこで、Icebergテーブルを用いて
データのスキーマ情報やパーティショニング情報を格納するもの。

そのデータレイクハウスの分析エンジンとして、
snowflakeと言うものがあります。

簡単に、説明しましたがここから細かく探っていきたいと思います。

2.データレイクハウスとは

これは聞いたことがある人いるかもしれません。
S3などに格納されている実物のデータをそのまま分析したい時に
使用します。

その際に、テーブルフォーマットを扱うことで、データ型だったり、パーティショニングを解析してくれます。

テーブルフォーマットというのは、あるデータセットが1つのテーブルとして表現できるように、ファイルの管理方式を定めます。

テーブルフォーマットはクエリ実行において、主に2つの大きな役割を果たしています。

1つ目は、どのファイルがテーブルのデータを構成しているかに答えることです。2つ目は、そのファイルがどのように読み書きできるかに答えることです。そのためには、パーティショニングやスキーマ定義など、メタデータの管理も必要になります。

データ自体はAvroやParquetなどの列思考データフォーマットで格納します。

IceBergが登場する前は

Delta Table / Hive format などが存在していました。

IceBurgは、テーブルフォーマットに仲間入りしたと言うことです。

今前までデファクトスタンダードとなっていた
Hive Formatを例にしてみると、

テーブルの管理に使われるパーティションやスキーマなどのメタデータの変更、照会はHive Metastoreというサーバーを介して行われます。

Hive Metastoreのバックエンドでは、メタデータがRDBMS（Relational DataBase Management System）に保存されます。

そのため、クエリなどが多い場合
そのRDBMSにアクセスが集中してしまい、結果としてボトルネックになるという問題点がありました。

IceBergでは、テーブル情報がファイルによって管理されているため、Hive Metastoreと違いRDBMSがなく

個々別々のファイルで管理されているので、そのような問題が解消されたと言う例がありました。

詳しく書くよりもこちらを参考にするとよさそうです。笑
自分もまだ全て見切れていないので、個人的に解釈完了したらまた記事にしたいと思います。