いつ作られた?
- 2012年
設立 - 2015年6月
クラウドデータウェアハウスプラットフォーム発表
誰が作った?
Oracleのデータベースシステムに携わっていたエンジニア
- Benoît Dageville
- Thierry Cruanes
Vectorwise co-founcder
- Marcin Zukowski
歴史的背景 2000年代
特別な用途をもった、リレーショナルOLAP(Online Analytical Processing) のシステムが出てきた。
- Vertica
- Greenplum
- MonetDB
- Vectorwise
- ParAccel
DB | 主な用途 | アーキテクチャ | 特徴 |
---|---|---|---|
Vertica | 分析、リアルタイム分析 | 列指向 + 分散型 | 高速クエリ、多クラウド対応 |
Greenplum | ビッグデータ、データウェアハウス | 分散(MPP) | PostgreSQLベース、スケーラブル |
MonetDB | 分析、科学計算 | 列指向 | オープンソース、OLAP特化 |
Vectorwise | データウェアハウス | 列指向 | CPUキャッシュ最適化、小規模データ向き |
ParAccel | 高速分析、AWS Redshiftの基盤 | 列指向 + 分散型 | Redshiftの基盤技術、クラウド向き |
歴史的背景 2010年代初期
多くの組織が Hadoop/HDFS(Hadoop Distributed File System) でSQL を使用しようとしていた。
- Hive
- Presto
- Impala
Hadoopとは
データを複数のサーバに分散し、並列して処理するミドルウェア。
テラバイト、ペタバイト級大容量データの分析などを高速処理できる。
Snowflakeはなぜ、Hadoopスタイルのシステムを使用しなかったのか?
- 大規模な特定のユースケースで使われる
- 分析のパフォーマンスが大幅に低下するため
- セキュリティ、管理の容易性にはあまりフォーカスされていなかった
当時の課題
- 複雑な管理
- スケーラビリティ
- あらゆる規模の企業の分析しやすいサービスがなかった
- 企業が生成するデータの増加を効果的に処理できない
参考文献
21 - Snowflake Data Warehouse Internals (CMU Advanced Databases / Spring 2023)
CMU Advanced Database Systems - 25 Ashish Motivala
A brief history of Snowflake