１．背景

vaexがpandasの1000倍速いというので、試してみました。
参考にしたのはここや公式のAPI。

!pip install vaex
import vaex as vx
df = vx.open(~~~.csv,low_memory=False)

１回hdf5ファイル形式で出力し、読み直す必要がある。

path='vaex.hdf5'
df.export_hdf5(path, column_names=None, byteorder='=', shuffle=False, selection=False, progress=None, virtual=False, sort=None, ascending=True)    
df = vx.open(path)

修正：
openの際にconvertを使えばよかった。ここ参照
ds = vx.open('somedata*.csv', convert='bigdata.hdf5')

２．よかった点／困った点

良かった点
・確かに速い！：pandasだと30秒くらいかかる動作が3秒くらいで済む。
・RAMの心配をせずに済む。
　RAMにすべてのデータを入れる必要がない？そうで5GBくらいのデータでも
　処理がサクサク進みました。pandasだとsqlとの連携が必須でしたが、
　

悪かった点
pandsとの使い勝手の違い。
・pandasでのcolumnsのように列名が変更できない。
　documentを参照すると、vaexはorderdicrなので列名変更は下記のような感じ。

rename_column(name, new_name, unique=False, store_in_state=True)

・日本語を列名にすると上手く動かない（日本語の処理が難しい？）
・pivot_tableとか使いたい
・applyなどpandasでよく使う関数の一部が使えない。

他に気付いたら、追記するかもですが、といりそぎ。

３．その他

現状、完全にpandasから移行とはならないとは思いますが、速度やRAMの利用効率から
見て使い場面を選んで使おうと思いました。
・機械学習や可視化も売りにしている様子。

2019/4/18追記：pandasの関数との比較
pandas 0.24.2 documentation
vaex 1.0.0-beta.6 documentation
を参照。

項目	pandas	vaex
import	import pandas as pd	import vaex as vx
入力	pd.read_csv('~.csv')	vx.open('~.csv')
出力	pd.to_csv('##.csv')	vx.to_csv('##.csv')
集計	count/mean/std/…	同左。同じことができる。
sort	有	有
groupby	有	（APIdocumentにはないみたいだが）有
列名	df.columns	vx.get_column_names
rename	df.rename(index=str, columns={"":"",…})	vx.rename_column(old_str,new_str)
クロス集計	pivpot_table	無
日本語	OK	OK。（列名ではNG）
機械学習	無	有
DB連携	with sqlite3.connect~	無?

使えそうな関数

関数	説明
vx.from_ascii(path, seperator=None, names=True, skip_lines=0, skip_after=0, **kwargs)	asciiファイルを読み込む。日本語がいける？
vx.open_many(filenames)	複数のファイルを一度に読み込んでmergeした結果を返す。
vx.from_arrays(text=text)	配列（text)をdataframe化
df.text.str.contains(str)	部分一致検索の結果を返す。df[df[].text.str.contains]で使えそう
df.to_pandas_df	pandas.DataFrameとして返す。

20200925.追加
koalasというのも気になる。研究しよう。

20230116追加
polarsこれは良い。pandasから乗り換える要準備。

vaexを試してみた

１．背景

２．よかった点／困った点

３．その他