背景
Rでクラスタリングのクラスタ数を提案してくれるライブラリであるNbClustは、デフォルトで計算する指標の設定がindex='all'
になっていて、GAP
Gamma
Gplus
Tau
以外の指標が計算されます。この4指標は計算時間がかかるので除外されているのですが、実際に使うとそれでも重いです。
しかし、試しにindex='db'
などとして1指標だけ計算すると、すぐに計算が終了します。
そこで、上記4種類以外にも計算時間がかかる指標があるのではないかと思い調べてみました。
計測方法と結果
指標ごとに、irisデータセットをWard法でクラスタリングした場合の計算時間を測りました。実行コードは次の通りです。
R
library(NbClust)
index_ary<-c("kl", "ch", "hartigan", "ccc", "scott", "marriot", "trcovw", "tracew",
"friedman", "rubin", "cindex", "db", "silhouette", "duda", "pseudot2",
"beale", "ratkowsky", "ball", "ptbiserial", "gap", "frey", "mcclain",
"gamma", "gplus", "tau", "dunn", "hubert", "sdindex", "dindex", "sdbw")
for(index in index_ary){
start.time<-proc.time()
NbClust(iris[,-5], method = "ward.D", index = index)
end.time<-proc.time()
cat(index,' ',(end.time-start.time)[3],'\n')
}
結果はこの様になりました。
指標 | 経過秒数 | 特記事項 |
---|---|---|
kl | 0.033 | |
ch | 0.024 | |
hartigan | 0.023 | |
ccc | 0.01 | |
scott | 0.01 | |
marriot | 0.012 | |
trcovw | 0.011 | |
tracew | 0.01 | |
friedman | 0.01 | |
rubin | 0.01 | |
cindex | 0.009 | |
db | 0.014 | |
silhouette | 0.105 | 少し重い |
duda | 0.02 | |
pseudot2 | 0.023 | |
beale | 0.019 | |
ratkowsky | 0.016 | |
ball | 0.013 | |
ptbiserial | 0.236 | 少し重い |
gap | 0.272 | 少し重い |
frey | 0.043 | |
mcclain | 0.046 | |
gamma | 3.075 | 重い |
gplus | 3.046 | 重い |
tau | 3.031 | 重い |
dunn | 0.013 | |
hubert | 0.268 | 少し重い |
sdindex | 0.034 | |
dindex | 0.072 | |
sdbw | 0.283 | 少し重い |
index='all'
で除外される4指標はどれも重く、特にgamma
gplus
tau
が重い事がわかりました。
そして、ここが重要なポイントですが、除外される4指標以外に、silhouette
、ptbiserial
hubert
sdbw
も少し遅めである事が分かりました。もっとも、重いと言ってもgamma
などの10分の1程度でした。
まとめ
指標ごとにNbCLustの実行時間を計測したところ、index='all'
で除外される指標以外にも重めな指標がいくつかある事が分かりました。ただし、index='all'
で除外される指標の10分の1程度の重さでした。