はじめに
arffフォーマットのweka用データセットを分析する必要があり、pythonで読みこんで、使えるようになるのに少し苦戦したので、まとめておきます。
読み込み
scipy.io の loadaiff() を使って読み込めます。 (scipy.io リファレンス 参照)
https://docs.scipy.org/doc/scipy-0.18.1/reference/tutorial/io.html
readarff.py
from scipy.io import arff
import numpy as np
dataset, meta = arff.loadarff("DARPA99Week3-46.arff")
Array 変換
scipy や scikit-learnで分析するには、通常のnumpyのarrayにしたいので、次のようなスクリプトで変換します。 (Stack Overflowの 「Prepare scipy.io loadarff result for scikit-learn」参照）
arff1.py
ds=np.asarray(dataset.tolist(), dtype=np.float32)
target=np.asarray(ds[:,22].tolist(), dtype=np.int8)
train=ds[:, :21]
もしくは
arff2.py
train_data = dataset[meta.names()[:-1]]
train_array = train_data.view(np.float).reshape(data.shape + (-1,))
グラフ表示
いったんnumpyのarrayにできれば、matplotlibなどで、グラフ表示したり分析を行うことができます。
hist.py
%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
duration=ds[:,16]
plt.hist(duration, bins=50)
plt.show()
参照
scipy.io リファレンス
https://docs.scipy.org/doc/scipy-0.18.1/reference/tutorial/io.html
Prepare scipy.io loadarff result for scikit-learn (Stack Overflow)
http://stackoverflow.com/questions/22873434/prepare-scipy-io-loadarff-result-for-scikit-learn