はじめに

階層型クラスタリングを勉強しているのですが、正解がない場合にクラスター数をどう決めればよいのかを調べてみました。間違っている点などありましたら、教えていただけると幸いです。

データの準備とクラスタリング

今回は、irisのデータセットを使ってみました。

from sklearn import datasets
dataset = datasets.load_iris()
dataset_data = dataset.data
dataset_target = dataset.target
target_names = dataset.target_names
dataset_labels = target_names[dataset_target]

とりあえず、標準化してみました。

# データの標準化を行う。
from sklearn.preprocessing import scale
data = scale(dataset_data)

今回は、完全リンク法を使ってクラスタリングしました。理由は、後ほど見やすいグラフを得るためであって、統計学的な意味はありません。
距離については、ユークリッド距離を使いました。後で出てくる指標の計算にユークリッド距離が用いられているためです。

# クラスタリングを行う。
from scipy.cluster.hierarchy import linkage
Z = linkage(data, method='complete', metric='euclidean')

クラスター数を評価する３つの指標

クラスタ数を決めるときに、参考となる指標はたくさんありますが、今回はscikit-learnで用意されている、以下の３つの指標を利用します。

シルエット係数（詳しくはこちら）
　値が大きいほど良い。
Calinski Harabasz基準（ pseudo Fとも呼ばれています。詳しくはこちら）
　値が大きいほど良い。
Davies Bouldin基準（詳しくはこちら）
　値が小さいほど良い。

scikit-learnでは、上記の指標はユークリッド距離で計算されています。そのため、他の距離でのクラスタリングを評価する場合には、適切でないかもしれません。他の距離を用いる場合は、自分で上記の指標を実装した方がよいかもしれません。その辺りは、調べてもよくわかりませんでした。どなたか教えていただけると幸いです。

# クラスタ数ごとに シルエット係数、Calinski Harabasz基準, Davies Bouldin基準を計算する。
from scipy.cluster.hierarchy import fcluster
from sklearn.metrics import silhouette_score, calinski_harabasz_score, davies_bouldin_score

silhouette_coefficient = []
calinski_harabasz_index = []
davies_bouldin_index = []

NUM_CLUSTERS_RANGE = range(2,11)  # クラスター数を2～10個の範囲で比較
for num in NUM_CLUSTERS_RANGE:
    labels = fcluster(Z, t=num, criterion='maxclust')

    silhouette_coefficient.append(silhouette_score(data, labels))
    calinski_harabasz_index.append(calinski_harabasz_score(data, labels))
    davies_bouldin_index.append(davies_bouldin_score(data, labels))

結果をグラフにします。こちらを参考にしました。

import matplotlib.pyplot as plt
fig = plt.figure()
fig.subplots_adjust(bottom=0.3,right=0.75)
host = fig.add_subplot(111)

# 縦軸の追加
par1 = host.twinx()
par2 = host.twinx()

# プロット
p0, = host.plot(NUM_CLUSTERS_RANGE, silhouette_coefficient, 'bo-', label='Silhouette Coefficient')
p1, = par1.plot(NUM_CLUSTERS_RANGE, calinski_harabasz_index, 'rd-', label='Calinski Harabasz Index')
p2, = par2.plot(NUM_CLUSTERS_RANGE, davies_bouldin_index, 'gs-', label='Davies Bouldin Index')

# 軸ラベル
host.set_xlabel('Number of Clusters')
host.set_ylabel('Silhouette Coefficient')
par1.set_ylabel('Calinski Harabasz Index')
par2.set_ylabel('Davies Bouldin Index')

# 軸の位置の調整
par2.spines['right'].set_position(('axes', 1.15))

# 凡例
lines = [p0, p1, p2]
host.legend(lines,
            [l.get_label() for l in lines],
            fontsize=8,
            bbox_to_anchor=(0.7, -0.1),
            loc='upper left')

fig.show()

グラフを見ると、クラスター数 3個が最適であると推察できます。
クラスター数3個でデンドログラムを色分けしてみました。

import numpy as np
from scipy.cluster.hierarchy import dendrogram
import matplotlib.pyplot as plt

NUM_CLUSTERS = 3
threshold = np.sort(Z[:, 2])[::-1][NUM_CLUSTERS-2]

fig2, ax2 = plt.subplots(figsize=(5,13))
ax2 = dendrogram(Z, color_threshold=threshold, orientation='right', labels=dataset_labels)

fig2.show()

最後に

実は今回、完全リンク法以外は、クラスター数をうまく決定できないものがほとんどでした。指標のグラフがきれいにならないのです。例えば、UPGMA法の場合は以下のようなグラフになりました。このグラフでは、クラスター数4個において、Calinski Harabasz基準では最悪となり、Davies Bouldin基準では最良となっています。このように、この3つの指標だけでうまくいかないことも多々あり、これら以外の指標も利用する必要がありそうです。

階層型クラスタリングの最適なクラスター数を３つの指標で考える。

はじめに

データの準備とクラスタリング

クラスター数を評価する３つの指標

最後に