はじめに

ソネット・メディア・ネットワークスでは、2017年12月に新サービスVALIS-Cockpitをリリースしました。弊社のデータサイエンティストが開発した分析手法をパッケージ提供し、広告主企業のマーケターが各種分析を利用できるサービスです。

VALIS-Cockpit開発チームでは、データサイエンティストチームが作った分析用のソースコードを、安定的に提供できるようブラッシュアップしています。その中で、アドホック分析としては問題ないが、製品としてリリースすると確率的に問題が発生するソースコードに出会ったのでこの場で紹介します。

pandas.read_csv(pd.read_csv)

アドホックな分析で良く使う pd.read_csv ですが、製品として使うには厄介な存在です。

問題が起きないパターン

よく有るのは下記のようなcsvファイルです。

$ cat sample1.csv
col1,col2,col3
1,2,3
4,5,6

このファイルであれば、オプションの指定なしで、何も考えなくてもcsvファイルを読み込むことが出来ます。

import pandas as pd

df = pd.read_csv('sample1.csv')
df.head()

問題が起きるパターン

では、次のようなファイルはいかがでしょうか。先程の sample1.csv に加えて1行分のデータが加わりました。しかし、col2については欠損値となっています。前工程のファイル出力の仕様が雑だと、0 という値が欠損値として出力されたりします。

$ cat sample2.csv
col1,col2,col3
1,2,3
4,5,6
7,,9

同様のコードでcsvファイルを読み込んでみましょう。

import pandas as pd

df = pd.read_csv('sample2.csv')
df.head()

col2の型が変わっています。df.dtypesを参照するとわかりますが、int64 から float64　に変わっていることがわかります。読み込むデータによって型が異なると、その後の様々な処理結果も変わってしまいます。そのため、製品版のコードにする際には、様々なデータが入力されることを想定し、欠損値を含むデータであっても想定通りの型として読み込むべきです。

問題の有る対策方法

import pandas as pd
import numpy as np

df = pd.read_csv('sample.csv', dtype={'col1':np.int64, 'col2':np.int64, 'col3':np.int64})
df.head()

一見、これでうまく行きそうに見えますが、これでもだめです。col2は float64 になっています。

正しい対策方法

integerのカラムとして扱うためには以下のように、明示的に変換してあげる必要があります。fillnaがないと、ValueError: Cannot convert NA to integer って怒られてしまいます。

import pandas as pd
import numpy as np

df = pd.read_csv('sample.csv')
df['col2'] = df['col2'].fillna(0).astype(np.int64)
df.head()

まとめ

pd.read_csv を製品版ソースで利用する場合には以下のことに気をつけましょう。

各カラムのデータ型はなにか？
各カラムに欠損値を含む可能性はあるか？
各工程の入出力ファイルの仕様を明確にする（特に欠損値処理）。

pandas.read_csvの型がころころ変わる件