Pandasの3倍速く、日本語カラム名も文字化けしない ビッグデータ向けプロファイリングツール 『Zarque-profiling』 の紹介
Zarque-profilingは、Pandas-profiling (ydata-profiling) をベースに、Pandasの代わりにPolars(超高速データフレームライブラリー)をデータ処理エンジンに使用して解析処理の高速化を図っています。また、日本語カラム名が豆腐(❏❏❏❏)に文字化けしないよう日本語フォントを指定できます。
Zarque-profilingの機能と使い方は、データフレームがPolarsになる以外は、Pandas-profilingと同じです。Pandas-profilingユーザは容易に使用できるので、データが大きく解析処理に時間が掛かっている場合や日本語カラム名が文字化けして困ってい時は すぐに試してみて下さい。
インストール・使い方は ここ⇒ GitHub Zarque-profiling README を参照。
READMEは英語ですが ブラウザーで日本語に翻訳すれば良い。
100万行から1億行のビッグデータの解析処理時間のベンチマーク結果も載っているので 参考にして下さい。