a9a
https://www.csie.ntu.edu.tw/~cjlin/libsvmtools/datasets/binary/a9a
を各種分類器で分類した時の精度評価メモ
a9aはlinear separableでないので、これを使って
FFMの分類性能をまずはみる。
liblinear
parameterはデフォルト
closed testの結果は
- c=100, 1, 0.001で軽く学習。
- c=1.0、0.001は大差なし。
- c=100は、69%前後。
masabon:myliblinear masabon$ ./predict.sh ./data/a9a_train.svmdata a9a_train.svmdata.model o
Accuracy = 84.9237% (27652/32561)
masabon:myliblinear masabon$ ./train.sh data/a4a
...........*.
optimization finished, #iter = 120
Objective value = -2007.96
nSV = 2922
masabon:myliblinear masabon$ ./predict.sh data/a4a a4a.model o2
Accuracy = 84.9822% (4063/4781)
myffm
- k = 100
- maxiter =20
- #train = 5000 (a4a相当)
- 学習率は固定。要、adagra, adadelta対応
- SGD実装
- closed testなのであくまで参考程度
- 次はcvで
- #train = 1000の場合は、90%程度いった。処理が遅いので、maxiterを増やすのにも時間がかかる。要高速化
- field idは単純に列の順番、feature idはそのまま、valueは1固定
- linear termはoff設定
- lambda = 0.0001, alpha=0.01固定
%19----
pp: 871
pn: 367
np: 364
nn: 3398
acc: 0.8538
likelihood=117605.88086645157
%%%
pp: 897
pn: 341
np: 318
nn: 3444
acc: 0.8682
# 44----
pp: 943
pn: 295
np: 288
nn: 3474
acc: 0.8834
likelihood=83245.71565255232
---
pp: 1097
pn: 141
np: 493
nn: 3269
acc: 0.8732
#############
#############
# 49----
pp: 950
pn: 288
np: 270
nn: 3492
acc: 0.8884
likelihood=78719.89344336146
---
pp: 1092
pn: 146
np: 481
nn: 3281
acc: 0.8746
#train=1000の場合
closed testではあるが、90%超になる。
2次の項はそれなりに効いている模様
#############
# 11----
pp: 178
pn: 58
np: 57
nn: 707
acc: 0.885
likelihood=56379.20298554983
---
pp: 187
pn: 49
np: 39
nn: 725
acc: 0.912
.
.
.
# 49----
pp: 221
pn: 15
np: 15
nn: 749
acc: 0.97
likelihood=49211.286605422545
---
pp: 230
pn: 6
np: 55
nn: 709
acc: 0.939