みなさん、こんにちは！
AWS re:Invent 2025で参加した個別セッションで、オープンテーブルフォーマットであるIcebergを活用した革新的なデータアーキテクチャ構築の事例発表がありました。
レイクハウスの普及とともに年々注目を集めているIcebergですが、世界的企業のデータ分析基盤実現にどのように役立てられているのか？気になる発表の内容をまとめます。
おさらい：Iceberg
Icebergは、大規模データセット向けのオープンテーブルフォーマットです。クエリエンジンとデータの間に位置する「抽象化レイヤー」として機能し、以下のような強力な機能を提供します。
- ACID特性：トランザクションの整合性を確保
- タイムトラベル：過去の時点のデータに遡って確認が可能
- パーティション進化：データの管理構造を柔軟に変更可能
- 柔軟性と効率性：データのコピーを複数持つ必要がなく、一貫したアクセスを実現
加えて、Icebergは以下のような特徴から幅広く利用されています。
- プロジェクトに勢いがあり、頻繁にアップデートされている
- 様々なクエリエンジンと統合し、エコシステムが形成されている
- 特定のベンダーやエンジンにロックインしない
相互運用可能なデータアーキテクチャの構築
Warner Music Group（以下WMG）は、75年の歴史を持ち、数多くのレーベルを抱えるレコード会社です。膨大なデータと数多くのシステムやアプリケーションをもつWMGが、いかにして複雑なマルチプラットフォーム環境を統合したのかが語られました。
マルチプラットフォーム環境における課題
WMGは非常に分権化された組織であり、各レーベルが独自にテクノロジーを選択してきた歴史があります。その結果、以下のようなマルチエンジン・マルチプラットフォーム環境が生まれていました。
- Snowflake：BI、マーケティング、アナリストチームが可視化・分析目的で利用
- Databricks：MLチームが機械学習目的で利用
WMGの社内ツール「Opus」は、独自のAPIでSnowflakeから直接データを取得していましたが、Databricks上のデータメッシュにあるデータが必要になりました。
しかし、APIは非常に多くのSnowflakeテーブルを利用しているため改修が難しく、BI/アナリストチームはSnowflakeを好んで使用しているため、Databricksへの移行も難しい状況となっていました。
Icebergによるデータへのエンジンの持ち込み
WMGはこの課題を解決するために、Icebergをプラットフォーム間の仲介役として採用しました。
従来であれば、データを一方から他方へコピー（ETL）する必要がありましたが、WMGはIcebergを活用して「データがある場所にSnowflakeを連れて行く」というアプローチを取りました。Icebergを共通言語とすることで、データを物理的に移動させることなく、SnowflakeからDatabricks（S3上のIcebergテーブル）のデータをシームレスに読み書きすることが可能になりました。
実現した驚異的な成果
このアーキテクチャの導入により、WMGは劇的な改善を実現しました。
- コスト削減：コピーやメタデータ管理のオーバーヘッドが減り、EC2利用料を70%削減
- 信頼性の向上：データレイヤーをプラットフォームに依存しない形にすることで、データの断片化を防止
- インサイト提供の高速化：複雑なインフラ構築に時間を取られることなく、AIや機械学習などの高度な分析にリソースを集中できるようになった
まとめ
WMGの事例は、Icebergが単なる技術的なフォーマットではなく、「組織の自律性」と「データの標準化」を両立させるための戦略的ツールであることを示しています。
SnowflakeやAWS、そしてNetflix、Apple、Amazonといった大手企業が強力に推進するIcebergは、今やデータプラットフォーム間の「API」としての役割を担いつつあります。今後、AIや機械学習のワークロードがさらに多様化する中で、Icebergの存在はますます大きなものになっていきそうです。
お知らせ
よければ、こちらも覗いてみてください。
