1. お試しに便利なlibsvmデータセット

機械学習を試す上で、データセットを用意する必要があります。
よく知られているものとして、
UCI http://archive.ics.uci.edu/ml/index.html
kaggle https://www.kaggle.com/datasets
MovieLens http://grouplens.org/datasets/movielens/
などを利用することが多いと思います。
ただ、クラス数、特徴量の数、データ量など、適切なものを探すのは大変です。
LIBSVMでは、UCI等で取得できる分類や回帰に利用できるデータが、それぞれのクラス数、特徴量数、データ量、ダウンロード元が一目でわかるようにまとまっています。
また、データはすべてlibsvm形式で格納されています。
libsvmはsparseなデータに対する分類や回帰を行うために適したデータレイアウトのテキストフォーマットのデータソースです。
実際のデータレイアウトはこんな感じです。
label index1:value1 index2:value2 ・・・

また、sparkのdataFrameとしてロードすると、このような形で見えます。

// sample 1
import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder.appName("VectorIndexerSample").getOrCreate()
spark.read.format("libsvm").load("/path/to/data").head(1)

//出力結果
//Array[label,(num features,[index1,index2,・・・],[value1,value2,・・・])]

このように、inputFormatによって、Sparkのmllib/mlを使用する際の入力データの形式であるSparseMarixの形でロードされるため、データをロードした後の前処理に苦労しなくて良いという利点があります。

なお、libsvmは、データセット以外にも様々なライブラリでlibsvmフォーマットを利用するためのパッケージなども置いてあります。

2. 前処理

データを分類器の学習に適した形にするための特徴量変換のAPIが幾つかあります。
注意が必要な点として、分類器を使う上で、特徴量を連続値として扱うかを、制御する必要があります。
mllibでは、分類器の学習時に与えるパラメータとして、カテゴリ値として利用する特徴量をcategoricalFeaturesInfo: Map[Int, Int]の形式で与えるようになっていました。
ただし、このやり方の場合、カテゴリ値として使用する特徴量を手動で与えるので、特徴量の数が膨大な場合は実装を行う上で少し面倒です。
そこで、spark.mlでは、VectorIndexerというAPIで自動的にスキーマのmetadataとしてカテゴリ値か連続値かを判別するためのattributeを付与するようになっています。VectorIndexerでは、カーディナリティがmaxCategoriesで与えた数値以下である特徴量はカテゴリ値、カーディナリティがmaxCategoriesで与えた数値よりも大きい場合は連続値としてattributeを付与します。

以下サンプルコードです。

// sample 2
import org.apache.spark.sql.SparkSession
org.apache.spark.ml.feature.VectorIndexer

val spark = SparkSession.builder.appName("VectorIndexerSample").getOrCreate()
val data = spark.read.format("libsvm").load("/path/to/data")
val featureIndexer = new VectorIndexer()
                     .setInputCol("features")
                     .setOutputCol("indexedfeatures")
                     .setMaxCategories(20)
                     .fit(data)
val featureIndexed = featureIndexer.transform(data)

3. 多クラス分類への対応

sparkのmllib/mlの分類器は、多クラス分類に対応しているものと、２クラス分類のみに対応しているものがあります。
以下、対応を表にしてみました。

	mllib	spark.ml
DecisionTree	２クラス/多クラス	2クラス/多クラス
RandomForest	２クラス/多クラス	２クラス/多クラス
GBT(勾配ブースティングツリー)	２クラスのみ	２クラスのみ
LogisticRegression	２クラス/多クラス	２クラスのみ
NaiveBayes	２クラス/多クラス	２クラス/多クラス
SVM	２クラスのみ	実装なし

4.分類木のメモリ設定

決定木、ランダムフォレスト、GBTといった分類木で、特に深い木の学習を行う際など、パフォーマンスが気になる場合は、
maxMemoryInMBの設定を行うと良いです。
Sparkでは、分類木の学習において、このmaxMemoryInMBで指定したメモリサイズで扱える数のツリーノードの計算を並列化します。このmaxMemoryInMBは、初期値が256MBと小さいため、クラスタのexecutorメモリのサイズに合わせてチューニングを行うことで、並列度を上げて、学習のイテレーション数を減らすことができます。

以下、決定木の学習におけるサンプルコードです。
（sample 2 の続き）

// sample 3
import org.apache.spark.ml.classification.DecisionTreeClassifier

//maxMemoryInMBの値を1024MBに設定
val model = new DecisionTreeClassifier()
            .setLabelCol("label")
            .setFeaturesCol("indexedFeatures")
            .setMaxMemoryInMB(1024)
            .fit(featureIndexed)

本当は最後に各分類器のパフォーマンスやAccuracyを比較したかったのですが、
時間が取れなかったのでまたの機会に。。。

spark mlで分類器に関するTips

1. お試しに便利なlibsvmデータセット

2. 前処理

3. 多クラス分類への対応

4.分類木のメモリ設定