Pythonの機械学習の本を読んだのでちゃんとメモするぞ。
準備
まず、Pythonはよく分からないのでRのreticulateパッケージを使うことにする。
reticulateを使うとRからPythonが使用できる。なお、venvを使用している場合はuse_viertualenvではなくuse_pythonを使うようだ。ちなみにPythonは3.6.4を入れてある。以下で必要なモジュールは予めインストールしてある。
library(reticulate)
use_python("~/myenv/bin/python")
データを読む
irisをsklearn.datasetsのload_irisで読み込む。load_irisが返すオブジェクトはBunchクラス、概ね辞書みたいなものらしい。
sk_datasets <- import("sklearn.datasets")
iris_dataset <- sk_datasets$load_iris()
class(iris_dataset)
$> [1] "sklearn.utils.Bunch" "python.builtin.dict" "python.builtin.object"
キーを確認しよう。
names(iris_dataset)
$> [1] "data" "target" "target_names" "DESCR"
$> [5] "feature_names"
DESCRにデータセットの解説が入っている。
cat(iris_dataset$DESCR)
$> Iris Plants Database
$> ====================
$>
$> Notes
$> -----
$> Data Set Characteristics:
$> :Number of Instances: 150 (50 in each of three classes)
$> :Number of Attributes: 4 numeric, predictive attributes and the class
$> :Attribute Information:
$> - sepal length in cm
$> - sepal width in cm
$> - petal length in cm
$> - petal width in cm
$> - class:
$> - Iris-Setosa
$> - Iris-Versicolour
$> - Iris-Virginica
$> :Summary Statistics:
$>
$> ============== ==== ==== ======= ===== ====================
$> Min Max Mean SD Class Correlation
$> ============== ==== ==== ======= ===== ====================
$> sepal length: 4.3 7.9 5.84 0.83 0.7826
$> sepal width: 2.0 4.4 3.05 0.43 -0.4194
$> petal length: 1.0 6.9 3.76 1.76 0.9490 (high!)
$> petal width: 0.1 2.5 1.20 0.76 0.9565 (high!)
$> ============== ==== ==== ======= ===== ====================
$>
$> :Missing Attribute Values: None
$> :Class Distribution: 33.3% for each of 3 classes.
$> :Creator: R.A. Fisher
$> :Donor: Michael Marshall (MARSHALL%PLU@io.arc.nasa.gov)
$> :Date: July, 1988
$>
$> This is a copy of UCI ML iris datasets.
$> http://archive.ics.uci.edu/ml/datasets/Iris
$>
$> The famous Iris database, first used by Sir R.A Fisher
$>
$> This is perhaps the best known database to be found in the
$> pattern recognition literature. Fisher's paper is a classic in the field and
$> is referenced frequently to this day. (See Duda & Hart, for example.) The
$> data set contains 3 classes of 50 instances each, where each class refers to a
$> type of iris plant. One class is linearly separable from the other 2; the
$> latter are NOT linearly separable from each other.
$>
$> References
$> ----------
$> - Fisher,R.A. "The use of multiple measurements in taxonomic problems"
$> Annual Eugenics, 7, Part II, 179-188 (1936); also in "Contributions to
$> Mathematical Statistics" (John Wiley, NY, 1950).
$> - Duda,R.O., & Hart,P.E. (1973) Pattern Classification and Scene Analysis.
$> (Q327.D83) John Wiley & Sons. ISBN 0-471-22361-1. See page 218.
$> - Dasarathy, B.V. (1980) "Nosing Around the Neighborhood: A New System
$> Structure and Classification Rule for Recognition in Partially Exposed
$> Environments". IEEE Transactions on Pattern Analysis and Machine
$> Intelligence, Vol. PAMI-2, No. 1, 67-71.
$> - Gates, G.W. (1972) "The Reduced Nearest Neighbor Rule". IEEE Transactions
$> on Information Theory, May 1972, 431-433.
$> - See also: 1988 MLC Proceedings, 54-64. Cheeseman et al"s AUTOCLASS II
$> conceptual clustering system finds 3 classes in the data.
$> - Many, many more ...
target_namesには目的変数のクラス名が入っている。
iris_dataset$target_names
$> [1] "setosa" "versicolor" "virginica"
feature_namesには特徴量の説明。
iris_dataset$feature_names
$> [1] "sepal length (cm)" "sepal width (cm)" "petal length (cm)"
$> [4] "petal width (cm)"
データの本体はtargetとdataに配列として格納されている。
iris_dataset$target
$> [1] 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
$> [36] 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
$> [71] 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2
$> [106] 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
$> [141] 2 2 2 2 2 2 2 2 2 2
head(iris_dataset$data)
$> [,1] [,2] [,3] [,4]
$> [1,] 5.1 3.5 1.4 0.2
$> [2,] 4.9 3.0 1.4 0.2
$> [3,] 4.7 3.2 1.3 0.2
$> [4,] 4.6 3.1 1.5 0.2
$> [5,] 5.0 3.6 1.4 0.2
$> [6,] 5.4 3.9 1.7 0.4
これらの数字や、数字の列がが具体的にどれに対応しているのかを示しているのがtarget_namesとfeature_namesという訳だ。
訓練データとテストデータ
データを分割しよう。分割にはtrain_test_split関数を使う。擬似乱数列の種を固定するために、random_stateに0を指定する。明示的に整数型を渡すのを忘れないようにしよう。
sk_model_selection <- import("sklearn.model_selection")
tmp <- sk_model_selection$train_test_split(
iris_dataset$data,
iris_dataset$target,
random_state = 0L
)
X_train <- tmp[[1]]
X_test <- tmp[[2]]
y_train <- tmp[[3]]
y_test <- tmp[[4]]
Xは入力、yは出力を、_trainは訓練データを、_testはテストデータを表している。入力データの形状だけ確認しておこう。
dim(X_train)
$> [1] 112 4
dim(X_test)
$> [1] 38 4
train_test_splitは標準で全データの25%をテストデータに割り振る。
データを良く観察する
pandasのscatter_matrix関数で散布図行列を作成する。(このとき、knitrで.Rmdから.mdを生成しようとしたらエラーが出た。~/.matplotlib/matplotlibrcを編集して、backend : TkAggとしたらエラーは出なくなった。ただしプロットは埋め込まれたりしない。参考: Python 3.3でmatplitlibとpylabを使おうとしたら RuntimeError: Python is not installed as a frameworkというエラーが発生したときの解決方法 - Qiita)
pd <- import("pandas")
matplotlib <- import("matplotlib")
iris_dataframe <- pd$DataFrame(X_train, columns=iris_dataset$feature_names)
grr <- pd$scatter_matrix(iris_dataframe, c = y_train, marker = 'o', figsize = c(10, 10),
hist_kwds=list('bins' = 20L))
matplotlib$pyplot$show()
k-最近傍法をやる
まず、neighboarsモジュールのKNeighboarsClassifierクラスのインスタンスを作成する。
sklearn.neighbors <- import("sklearn.neighbors")
# 整数型のハイパーパラメータはきちんと整数型を明示して指定しよう
knn = sklearn.neighbors$KNeighborsClassifier(n_neighbors = 1L)
訓練セットからモデルを構築する。
knn$fit(X_train, y_train)
$> KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
$> metric_params=None, n_jobs=1, n_neighbors=1, p=2,
$> weights='uniform')
予測を行う
予測はknn$predictで行う。np$arrayをそのまま与えたらarray.reshapeで直せと怒られたので(観測値が1つだから?)少し加工してある。
np <- import("numpy")
X_new <- np$array(c(5.0, 2.9, 1, 0.2))
X_new <- array_reshape(X_new, c(1, -1))
prediction <- knn$predict(X_new)
prediction
$> [1] 0
iris_dataset$target_names[prediction+1] # Rは1オリジンなので気をつけよう
$> [1] "setosa"
ただ、これでは"setosa"が正しいのかどうか分からない。
モデルの評価
テストデータを使ってテストをしよう。
y_pred <- knn$predict(X_test)
y_pred
$> [1] 2 1 0 2 0 2 0 1 1 1 2 1 1 1 1 0 1 1 0 0 2 1 0 0 2 0 0 1 1 0 2 1 0 2 2
$> [36] 1 0 2
これを正解のクラスであるy_testと比較すればいい。
mean(y_test == y_pred)
$> [1] 0.9736842
あるいは、knn$scoreを使ってもいい。これにはテストデータの入力と出力を与える。
knn$score(X_test, y_test)
$> [1] 0.9736842
感想
ネタでやってみたら思ったよりずっと普通にやれてしまった…reticulateすごい…
注意点は整数は整数として書くということ、添字がRは1オリジンでPythonは0オリジンというあたり。