私の前職では、中国の大手製造業企業でデータエンジニアとして働いていました。主にデータベースの管理やデータ開発、データ分析を担当していました。それでは、データウェアハウスとデータレイクという概念を説明しましょう。
01 - データウェアハウス
データウェアハウスとは何でしょう？
それは、複数のデータソースを一つにまとめた構造化ストレージで、ビジネスインテリジェンス分析をサポートし、ビジネス決定と商業的洞察を支援するデータ分析プラットフォームを提供します。
重要なポイント：
（1）構造化：データは構造化され、一般的にはテーブル形式で保存され、事前に定義されたスキーマに従います。
（2）履歴データ：完全な履歴データを強調し、時間軸に沿ったトレンド分析を支援するデータレポートを提供します。
（3）強力なクエリと分析能力：高速なクエリと分析能力を提供し、複雑なクエリステートメントを効率的に実行できます。
（4）データ統合：複数のビジネスデータソースを一つの完全で統一されたビューに統合し、複雑なビジネスロジック分析をサポートします。
（5）ディメンションモデリング：通常、ディメンションモデリング（例えばスター・スキーマやスノーフレーク・スキーマ）を使用して、効率的なクエリをサポートするデータモデルを構築します。
データウェアハウスの価値：
（1）データ統合：企業内では、データは通常、異なるシステムや部署に分散し、異なる形式と構造で存在しています。データウェアハウスは、これらのデータを統一されたストレージに統合することで、データの孤立問題を解消し、企業が自社のビジネス状況をより包括的に理解することを可能にします。
（2）高性能のクエリと分析：最適化されたデータ構造とクエリエンジンを使用してユーザのクエリリクエストに迅速に対応し、複雑なデータ分析やデータマイニングをサポートします。これにより、企業はビジネスデータをより効果的かつタイムリーに利用することができます。
（3）データ品質管理：データのクリーニング、検証、修正を行い、データの精度と一貫性を向上します。
（4）データのセキュリティ保証：センシティブ/コアデータに対するアクセス制御と暗号化を行い、企業のコアデータ資産を保護します。
（5）ビジネスインテリジェンスと意思決定支援：データウェアハウスを通じて、企業は各種のレポートやダッシュボードを作成することができ、さらに下流のアルゴリズムモデルに接続することも可能です。これにより、経営陣やビジネス担当者はビジネス状況をよりよく監視し分析し、タイムリーに決定を下すことができます。
02 - データレイク
データレイクとは何でしょう？
データレイクは、大量の原始データ、非構造化データ、または構造化データを保存できるストレージ構造です。データウェアハウスとは異なり、データレイクでは、組織が原始形式のままデータを保存することが可能で、各種のデータタイプをサポートします。これにより、データの探索、分析、処理に対して柔軟な環境が提供されます。
重要なポイント：
(1) 原始で多様なデータ：データレイクは、原始の未処理データを保存します。これには、構造化データと非構造化データの両方が含まれます。
(2) スケーラビリティ：高度にスケーラブルなストレージソリューションであり、大量のデータを処理できます。(3) 読み取り時スキーマ：データウェアハウスとは異なり、データレイクは通常、読み取り時にスキーマを適用する方法を採用しています。これにより、ユーザーはデータを分析する際に構造を適用することができます。
(4) 柔軟性：様々なデータ形式を収容できるため、多くの種類のデータの保存に適しています。
(5) 探索的分析：探索的データ分析をサポートし、データサイエンティストやアナリストが事前に定義された構造なしでデータを探索することを可能にします。
データレイクの実際の使用シーン：
(1) ビッグデータと非構造化データ：大量の非構造化データや半構造化データを処理する場合。
(2) データ探索とデータディスカバリ：データサイエンティストやアナリストが一時的にデータを探索し、洞察を発見することを組織が許可する場合。
(3) データアーカイブと長期保存：大量のデータをアーカイブし、コンプライアンス、履歴分析、または将来の使用のために保存する必要がある場合。
(4) 分析用データレイク：異なるデータソースを処理し分析するための分析ツールとフレームワークを統合する場合。
(5) データレイクを中央ストレージリポジトリとして：特定のユースケースに対して、さまざまなデータタイプを保存する中央ストレージリポジトリを構築することを考慮する場合。
(6) 機械学習と高度な分析：異なる構造を持つ大規模なデータセット上で機械学習モデルと高度な分析を利用する場合。
03 - データレイク vs データウェアハウス
1.データの性質：
- データレイク：原始データや非構造化データ、多様なデータタイプに非常に適しています。
- データウェアハウス：事前に定義されたスキーマが必要な構造化データに最適です。
2.アーキテクチャ：
- データレイク：読み取り時スキーマを採用し、分析の過程でデータを柔軟に構築することを可能にします。
- データウェアハウス：事前に定義された構造を持つ書き込み時スキーマを採用します。
3.クエリパフォーマンス：
- データレイク：データの組織とインデックスにより、クエリパフォーマンスは異なる場合があります。
- データウェアハウス：クエリの高速性を最適化するように設計されています。
4.データ統合：
データレイク：原始データを保存し、統合と探索に適しています。
データウェアハウス：さまざまなソースからの構造化データを統合します。
5.スケーラビリティ：
データレイク：大量のデータを処理するために設計された高度にスケーラブルなソリューションです。
データウェアハウス：スケーラブルですが、大規模なデータセットに対するスケーリング戦略が必要な場合があります。