はじめに
Delta Lake について、下記のリンク先の記事と動画を参考に、内容を翻訳してまとめてみました。
本記事にはより詳細な内容が記載されているので、そちらも参照してください。
■リンク
Delta Lake について
Delta Lake とは
Delta Lake はデータレイクに信頼性をもたらすオープンソースのストレージレイヤです。
Delta Lake を利用するメリットとしては、3つ挙げられます。
Delta Lake の特徴
Delta Lake には、ユーザが快適に利用できるよう10の機能があります。
■Delta Lake の10の機能
-
ACID トランザクション
-
ACID トランザクションをデータレイクに提供
-
最強の分離レベルであるシリアライザビリティを提供
-
スケーラブルなメタデータのハンドリング
-
Spark の分散プロセス力を利用して、数十億のファイルを持つペタバイト規模のテーブルの全てのメタデータを簡単に処理可能
-
タイムトラベル（データのバージョニング）
-
ロールバックや監査証跡の全履歴、そして再現可能な機械学習実験などがデータのバージョニングで可能
-
オープンフォーマット
-
Delta Lake の全データを ApacheParquet 形式で保存
-
Parquet にとってネイティブな効率的な圧縮とエンコーディングスキームを提供
-
統一されたバッチとストリーミングのソースとシンク
-
Delta Lake のテーブルはバッチテーブルでもあると同時に、ストリーミングソースやシンクでもある
-
ストリーミングデータの読み込み、バッチ履歴の埋戻し、対話型クエリをそのまま使用可能
-
スキーマの実施
-
Delta Lake はスキーマを指定して実行する機能を提供
-
不良データによるデータ破損を回避し、正しいデータタイプとカラムの存在を確認することが可能
-
スキーマの進化
-
Delta Lake デーブルスキーマに変更を加え、自動的に適用される
-
DDLといった面倒は不要
-
監査履歴
-
Delta Lake のトランザクションログは、データに関するあらゆる変更履歴を記録
-
完全な監査証跡も提供
-
アップデートと削除
-
データセットのマージ・更新・削除する Scala/Java API のサポート
-
GDPR と CCPA に簡単に準拠でき、変更データキャプチャなどのユースケースも簡素化可能
-
Apache Spark API との 100% の互換性
-
大規模データ処理エンジンとして利用される Spark と完全互換性
-
Delta Lake を最小限の変更で既存のデータパイプラインと利用が可能
Data Lake と Delta Lake の違い
下記は、Data Lake と Delta Lake の違いを図に表したものです。
-
信頼性
-
Delta Lake：高（スキーマの ACID 操作を強化することでデータの信頼性を高める）
-
Data Lake：低（あらゆるデータを許可し、結合も遅いため、大量の孤立したデータが生まれる）
-
統一性
-
Delta Lake：高（バッチやストリームデータを同一のパイプラインで生成可能）
-
Data Lake：低（ストリーミングプロセスにはホットパイプランが必須）
-
パフォーマンス
-
Delta Lake：高（Zオーダスキッピングファイルで効率的な読み取り）
-
Data Lake：中（シーケンス読み取り）
-
使いやすさ
-
Delta Lake：中（DBA オペレーションを求められる）
-
Data Lake：高（スキーマへの記述も不要で、どのようなデータも許可）
信頼性、統一性、パフォーマンス、使いやすさ、の4項目でそれぞれ比較した結果、Delta Lake の方がData Lake に比べてより優れているのがわかります。
おわりに
Delta Lake に関する説明は以上となります。
より詳細な内容については、リンク先の記事等を参照ください。