shogunの使い方 #Python

こちらで入手することのできる機械学習ライブラリ、SHOGUNの覚え書き。
導入方法はこちらに書いてあります。

1.ラベル

2値ラベルであるBinaryLabelの例。-1か1で表される。配列かCSVファイルから作成することができる。

from modshogun import BinaryLabels

#ランダムに5つのラベルを生成
label = BinaryLabels(5)

label.get_num_labels() 
→ 5

label.get_values()
→ array([  2.00000000e+000,   2.00000000e+000,   1.38338381e-322,0.00000000e+000,   0.00000000e+000])

from modshogun import CSVFile

#あらかじめ用意したCSVファイルからでも作成可能
label_from_csv = BinaryLabels(CSVFile(file_path))

2.特徴量

numpyの行列かCSVファイルから作成することができる。1特徴量は1行ではなく、1列で表現することに注意が必要

from modshogun import RealFeatures
import numpy as np

#3x3のランダム行列
feat_arr = np.random.rand(3, 3)
→ array([[ 0.02818103,  0.72093824,  0.92727711],
       [ 0.66853622,  0.14594737,  0.90522684],
       [ 0.97941639,  0.14188234,  0.80854797]])

#RealFeaturesの初期化
features = RealFeatures(feat_arr)

#特徴量の表示
features.get_feature_matrix(features)
→ array([[ 0.02818103,  0.72093824,  0.92727711],
       [ 0.66853622,  0.14594737,  0.90522684],
       [ 0.97941639,  0.14188234,  0.80854797]])

#特定の列の特徴量を取得
features.get_feature_vector(1)
→array([ 0.72093824,  0.14594737,  0.14188234])

#特徴の種類(行の数)
features.get_num_features()
→3

#特徴の個数(列の数)
features.get_num_vectors()
→3

from modshogun import CSVFile

#もちろんこれもCSVファイルから読み込みが可能。
feats_from_csv = RealFeatures(CSVFile(file_path))

3.カーネル

カイ2乗カーネルでの例。

from modshogun import Chi2Kernel, RealFeatures, CSVFile

#訓練用データ
feats_train = RealFeatures(CSVFile(file_path))

#テスト用データ
feats_test = RealFeatures(CSVFile(file_path))

#カーネルの幅
width = 1.4

#size_cacheの設定
size_cache = 10

#カーネルの生成
kernel = Chi2Kernel(feats_train, feats_train, width, size_cache)

#カーネルの訓練
kernel.init(feats_train, feats_test)

4.SVMLight

SVMLightを用いたサポートベクトルマシンによる分類

from modshogun import SVMLight, CSVFile, BinaryLabels, RealFeatures, Chi2Kernel

feats_train = RealFeatures(CSVFile(train_data_file_path))
feats_test = RealFeatures(CSVFile(test_data_file_path))

kernel = Chi2Kernel(feats_train, feats_train, 1.4, 10)

labels = BinaryLabels(CSVFile(label_traindat_path))

C = 1.2
epsilon = 1e-5
num_threads = 1
svm = SVMLight(C, kernel, labels)
svm.set_epsilon(epsilon)
svm.parallel.set_num_threads(num_threads)
svm.train()

kernel.init(feats_train, feats_test)
res = svm.apply().get_labels()

res
→array(結果のラベル)

5.交差検定

CrossValidationクラスをimportして行います。CrossValidationの初期化には

分類器(SVNLightやLibLinearなどのCMachineクラス)
特徴量(RealFeatuersやDenseFeaturesなどのCFeaturesクラス)
ラベル(BinaryLabelsやMultiClassLabelsなどのCLabelsクラス)
データ分割の方法(CrossValidationSplittingなどのCSplittngStrategyクラス)
評価基準(ContingencyTableEvaluationなどのCEvaluationクラス) を引数として渡します。

from modshogun import LibLinear, BinalyLabels, RealFeatures, CrossValidationSplitting, ContingencyTableEvaluation, CSVFile, ACCURACY

#分類器
classifier = LibLinear(L2R_L2LOSS_SVC)
#特徴量
features = RealFeatures(CSVFile(feature_file_path))
#ラベル
labels = BinalyLabels(CSVFile(label_file_path))


#SplittingStrategyは、データをどのように分割するかを指定できるっぽい。あまり詳しくはわからないです。この例では5分割しています。
splitting_strategy = CrossValidationSplitting(labels, 5)

#評価基準クラス。ACCURACYはただのEContingencyTableMeasureTypeに宣言されている定数です。
evaluation_criterium = ContingencyTableEvaluation(ACCURACY)

#クロスバリデーションクラス。
cross_validation = CrossValidation(classifier, features, labels. splitting_strategy, evaluation_criterium)
cross_validation.set_autolock(False)

#繰り返しの数の設定
cross_validation.set_num_runs(10)

#95%信頼区間の設定？よくわからない
cross_validation.set_conf_int_alpha(0.05)

#返り値はCEvaluationResultクラス
result = cross_validation.evaluate()

#交差検定の結果の平均値を取得できます。
print result.mean

#その他もろもろ全てを出力したい場合はこちら
print result.print_result()

6.グリッドサーチ

ここまで出来ればグリッドサーチはかなり簡単にできます。
CModelSelectionクラスのGridSearchModelSelectionを

CrossValidation
変化させるパラメータのセット(ModelSelectionParameters)

を渡して初期化すればもうグリッドサーチができます。

---LibLinearでCrossValidationクラスを初期化するところまでは省略---

from modshogun import ModelSelectionParameters, R_EXP
from modsghoun import GridSearchModelSelection

#変化させるパラメータを格納するオブジェクト
param_tree_root = ModelSelectionParameters()

#パラメータC1
C1 = ModelSelectionParameters("C1")
param_tree_root.append_child(c1)

build_values()で最小値、最大値、ステップ(パラメータの増加量)を設定する。R_EXP(指数),R_LOG(対数),R_LINEAR(線形)の3種類あるが、詳細は不明。
c1.build_values(-1.0, 0.0, R_EXP)

c2 = ModelSelectionParameters("C2")
param_tree_root.append_child(c2)
c2.build_values(-1.0, 0.0, R_EXP)

#ここでprint_tree()を実行すると、param_tree_rootは木構造になっていることがわかる。
param_tree_root.print_tree()
→root with
     with values: vector=[0.5,1]
     with values: vector=[0.5,1]

#グリッドサーチクラスの生成
model_selection = GridSearchModelSelection(cross_validation, param_tree_root)

#これで自動的に最適なパラメータを決定し、CParameterCombinationクラスのオブジェクトを返します。また、Trueを引数として渡すと、各パラメータの組み合わせと、その結果も出力してくれます。
best_parameters = model_selection.select_model()

#返ってきた最良のパラメータを分類器やモデルのパラメータとして適用することも可能です。
best_parameters.apply_to_machine(classifier)
result = cross_validation.evaluate()

7.作成したモデルの保存、読み込み

ほとんど全てのクラスのもとになっているCSGObjectが持っている関数save_serializable()とload_serializable()を利用して、オブジェクトの保存、読み込みが可能です。

from modshogun import SerializableAsciiFile
from modshogun import MulticlassLabels
from numpy import array

save_labels = MulticlassLabels(array([1.0, 2, 3]))

#ファイル名の設定 csvやascに対応
save_file = SerializableAsciiFile("foo.csv", "w")
#ファイルの保存
save_labels.save_serializable(save_file)

load_file = SerializableAsciiFile("foo.csv", "r")
load_labels = MulticlassLabels()
load_labels.load_serializable(load_file)
→[ 1.  2.  3.]

8.ログを吐く

各オブジェクトに関して、ログを吐くことができます。デバッグログはMSG_DEBUG、エラーログのみの場合はMSG_ERRORを引数に渡す。 EMessageTypeで宣言されています。

from modshogun import MSG_DEBUG, MSG_ERROR
from modshogun import Chi2Kernel
from modshogun import LibSVM

kernel = Chi2Kernel()
svm = LibSVM()

kernel.io.set_loglevel(MSG_DEBUG)
svm.io.set_loglevel(MSG_ERROR)

おわりに

いろいろと雑な感じになってしまってるので、何か要望がありましたらコメントください。