QlikViewのデータ圧縮はファイルの種類によって異なる？

QlikViewのファイル圧縮には謎が多い。
とりあえず、こんなスクリプトでデータファイルを作ってみる。

データの作成

Customer=1,000,000件,Product=10,000件、Transaction=100,000,000件のデータをテキトーに作ってみる。

QVDファイルの作成

LET vCustomerCnt =1000000;
LET vProductCnt = 10000;
LET vTranCnt = 100000000;

Customer:
LOAD RowNo()            as customer_id,
     Hash128(RowNo())   as customer_name
AutoGenerate $(vCustomerCnt);

Product:
LOAD RowNo()                as product_id,
     'Product_' & RowNo()   as product_name
AutoGenerate $(vProductCnt);

Transaction:
LOAD RowNo()                                        as tran_id,
     Ceil(Rand()*$(vCustomerCnt))               as customer_id,
     Ceil(Rand()*$(vProductCnt))                    as product_id,
     Mod(Floor(pow(Rand(),2)),3)+1              as unit,
     Ceil(Sqrt(Rand()*10000000))                    as amount
AutoGenerate $(vTranCnt);

STORE Customer into Customer.qvd(qvd);
STORE Product into product.qvd(qvd);
STORE Transaction into Transaction.qvd(qvd);

上の方法でCSVとQVD形式でStoreするとファイルサイズはこんな感じになる。
まずはCSV

qvdにすると当然圧縮できるわけだけど、重複度にもよるが、上のスクリプトでロードして作成した場合はこれくらいに圧縮できる。

Transaction(100,000,000件)で約54%くらいにはなるね。

データロード実験

QlikViewでのロードがテキストファイルよりQVDからロードしたほうが数倍速いと言われている。
じゃあ、数倍ってどの程度なのか。
以下のロードスクリプトでベンチマークしてみる。
因みにマシンスペックは以下のとおり
- CPU: i7-3520M (2.9GHz)
- メモリ:12GB

データのロード

Customer:
LOAD *
FROM
Customer.qvd(qvd);

Product:
LOAD *
FROM
Product.qvd(qvd);

LET vRap = Now();

Transaction:
LOAD * FROM
Transaction.qvd(qvd);

LET vRap1 = interval(Now() - '$(vRap)');

リロード時間を比較すると

QVDからロードしたほうが、3.57倍速いことになる。

データソースがCSVとQVDの場合でファイルサイズは異なる？

今回の記事のメインはこれ。
ちょっと意外な結果なのだが、実はCSVからデータロードした場合とQVDからロードした場合でファイルサイズが異なる。

ホントかよ。
なぜ違うのかわからないが、QVDからロードするとCSVに比較して77.4%のファイルサイズになる。
何かの間違いではと思って何度もやったのだが、結果は同じ。

で、結論は..

”QVWのファイルサイズはQVDからロードしたほうが小さくなる。”

未だに信じられないけどね。