本記事はあくまで個人の実験結果をまとめたものであり、Snowflakeの性能を保証するものではありません。環境や条件によって結果は変わると思うので、その点をご理解いただければ幸いです。
前提
この記事では、Azure Data Lake Storage（ADLS）に保存されたTPC-DS sf=100000(100TB)のParquetファイルを、SnowflakeのテーブルにUNLOAD（ロード）した際の実行時間とコストについてまとめました。
かなりばらつきのある実験ではありますが、Snowflakeを使った大規模データの取り込みに関する参考情報として活用いただければ嬉しいです🙇
特に以下2点に注目して記録しています。
- 総コスト（クレジット数）
- WHサイズ変更による実行時間の変化
13TBクラスの取り込みを約1時間20分で完了できるケースもあり、Snowflakeの性能の高さとWarehouseサイズ設定の容易さをあらためて実感しました。
使用したコード
以下は、ADLSのParquetファイルをSnowflakeにロードする例（web_siteテーブル）
CREATE TABLE web_site(
web_site_sk INT,
web_site_id CHAR(16),
web_rec_start_date DATE,
web_rec_end_date DATE,
web_name VARCHAR(50),
web_open_date_sk INT,
web_close_date_sk INT,
web_class VARCHAR(50),
web_manager VARCHAR(40),
web_mkt_id INT,
web_mkt_class VARCHAR(50),
web_mkt_desc VARCHAR(100),
web_market_manager VARCHAR(40),
web_company_id INT,
web_company_name CHAR(50),
web_street_number CHAR(10),
web_street_name VARCHAR(60),
web_street_type CHAR(15),
web_suite_number CHAR(10),
web_city VARCHAR(60),
web_county VARCHAR(30),
web_state CHAR(2),
web_zip CHAR(10),
web_country VARCHAR(20),
web_gmt_offset NUMERIC(5, 2),
web_tax_percentage NUMERIC(5, 2)
);
--一回ステージを挟む
CREATE STAGE web_site_stage
URL='azure:/<storage_name>.blob.core.windows.net/datalake/tpcds-official-1tb-nopartition/tpc-ds/source_files_001TB_parquet/web_site/'
CREDENTIALS=(AZURE_SAS_TOKEN='<your token>')
FILE_FORMAT = ( TYPE = PARQUET);
--ステージから自分のテーブルに書き込める---
COPY INTO web_site
FROM @web_site_stage
PATTERN='.*\.parquet'
MATCH_BY_COLUMN_NAME = 'CASE_INSENSITIVE';
データ生成や構成について
TPC-DS（ADLS保存）をSnowflakeにアンロードする方法や
TPS-DSデータセットの生成方法は以下のリポジトリで公開しています。
結果
総コスト
▶️ 総クレジット：477.46
▽参考
WHサイズごとの実行時間
| テーブル名 | Parquetファイルサイズ（バイト） | Parquetファイル数 | WHサイズ | 実行時間 |
|---|---|---|---|---|
| store_sales | 12,910,536,099,204 | 25,000 | 4Xlarege | 1h 21m 13s |
| catalog_sales | 10,282,929,418,784 | 10,000 | 4XLage | 1h 5m 43s |
| web_sales | 4,725,217,006,088 | 5,000 | 2Xlarege | 2h 4m 7s |
| store_returns | 1,480,948,795,656 | 800 | 4Xlarege | 8m 31s |
| catalog_returns | 995,968,187,799 | 1,000 | X-large | 36m 56s |
| web_returns | 487,664,161,272 | 400 | 2Xlarege | 10m49s |
| inventory | 1,036,259,413 | 1 | Xlarege | 6m 44s |
| customer | 5,279,186,503 | 5 | medium | 4m 14s |
| customer_address | 972,656,652 | 10 | Xlarege | 51s |
| item | 47,354,876 | 1 | Large | 11s |
| customer_demographics | 7,784,310 | 1 | Xlarege | 4.2s |
| date_dim | 1,854,037 | 1 | Large | 3.7s |
| time_dim | 1,129,050 | 1 | Large | 1.2s |
| store | 170,728 | 1 | Large | 1.3s |
| promotion | 149,104 | 1 | Large | 790ms |
| web_page | 93,175 | 1 | Large | 1.8s |
| household_demographics | 38,825 | 1 | Large | 619ms |
| web_site | 21,636 | 1 | Large | 1.1s |
| warehouse | 6,285 | 1 | Large | 695ms |
所感と学び
- WHサイズが大きければ処理時間は確実に短縮される
- COPY INTOによるロード処理は非常に安定しており、13TB超のデータでも1時間半程度で取り込めた
Snowflakeは大規模データの取り込みという観点でも非常に優秀だと感じました。
もし似た構成でデータ連携を考えている方がいれば、この記事が一つの参考になれば幸いです。
修正点・加筆リクエストなどあればお気軽にコメントください！
読んでいただきありがとうございました😊