0. はじめに
自作のDBからPythonで高速にデータを抽出する方法で彷徨ってましたが、現時点でかなり早いライブラリを見つけたので紹介しておきます。
- 動作環境
- OS : Windows10 pro
- Python : 3.10
- connectorx : 0.3.1
1. ConnectorXとは？
公式によると以下のようなライブラリらしいです。
ConnectorX は Rust で書かれており、最も高速でメモリ効率の良い方法でデータベースからPythonにデータをロードできます。これは一般的なデータベースコネクタへの高レベルインタフェースを提供するPythonパッケージです
Rustはよく高速化関連でも聞きますが、これにも使われてるみたいですね。
2. 自作DBデータで比較してみた
2-0.データに関して
Sqliteに格納している株価データで、shapeは(12529820, 35)となっています。(1250万行、35カラム)
2-1.従来の方法(read_sql_query)
ごちゃごちゃ書いているが、様子するにchunksizeを指定してメモリに乗り切らないような大容量データを用いるときに一回に読み込む量を指定する方法である(以下は以前書いた記事)
read_sql_query
import psutil
import pandas as pd
import sqlite3
import time
# 実行時間を計測開始
start_time = time.time()
dbname = "sample.db"
conn = sqlite3.connect(dbname)
# chunksizeを計算する
# 利用可能なメモリの量を取得
available_memory = psutil.virtual_memory().available
# データベースから1行分のデータを読み出し、そのサイズを取得
df_sample = pd.read_sql_query("SELECT * FROM price LIMIT 1", conn)
row_size = df_sample.memory_usage(deep=True).sum()
# 利用可能なメモリの量に基づいてchunksizeを計算(最大の25%とした)
chunksize_max = int(available_memory * 0.25 // row_size)
print(f"利用可能なメモリは{available_memory}")
print(f"設定するchunksizeは{chunksize_max}")
# dbをread_sqlを使用してpandasとして読み出す。
dfs = []
for chunk in pd.read_sql_query('SELECT * FROM price', con=conn, chunksize=chunksize_max):
dfs.append(chunk)
df = pd.concat(dfs)
# 実行時間を計測終了
end_time = time.time()
print(f"かかった時間は {end_time - start_time} 秒です")
結果506秒（約8.5分）かかっていた
（以下が実行スクショ）
2-2.早い方法(ConnectorX)
今回紹介するライブラリを使用した結果を記します。
ConnectorX
import connectorx as cx
import urllib
import time
# 実行時間を計測開始
start_time = time.time()
db_path = urllib.parse.quote("sample.db")
conn = 'sqlite://' + db_path
query = 'SELECT * FROM price'
# read data from SQLite
df = cx.read_sql(conn, query)
# 実行時間を計測終了
end_time = time.time()
print(f"かかった時間は {end_time - start_time} 秒です")
結果は97秒（約1.5分）となっており、比較するとかなり早いことがわかる
(以下が実行スクショ)
3. おわりに
今回比較した結果だと約5倍読み込み速度が上がったことになります。無茶苦茶早くないですか？（さすがRUST！)
SQlite以外のDBでもかなり早いらしいので、色々試してみてみてはいかがでしょうか？
それでは今回はここまで。