ｋ近傍法の原理とpythonでの実装

内容

・ｋ近傍法とは

・pythonでの実装

目標

・正しさより、イメージしやすさ重視での理論の説明

・可視化するために二次元データで実装

ｋ近傍法とは

ざっくりいうと・・・

データの集まりのうち、異常度を調べたいデータをｐとする。

ｐを中心とする円を考える。円を少しずつ大きくしていき、円に含まれる点の数がｋ個になったらその時の半径をεとする。

これがｋ近傍法の基本的な考え方。

ｐが正常なデータの集まりから離れているとき、ｋは小さくなり、ｐの周りに正常なデータが多く存在するとき、ｋは大きくなる。

ｋを決めてデータを含むｐを中心とする円の半径の最小値εの大きさで異常度を判定してもよい←今回はこれ

局所外れ値や、多クラスなどの機械学習に使われるｋ近傍法の応用的な理論はもう少し複雑ですが、とりあえず簡単な理論で実装しましょう。

pythonでの実装

環境

・python3.6

・windows10

データの生成

numpy　の乱数で二次元データを作成

このまとまりから外れているデータを識別したい。

先ほどの原理をそのままコードにする。

knn.py

class KNN2d:

    def knn2d(self, x, y, k):
        num = x.shape[0]
        ipsilon_list = []
        for j in range(num):
            l_list = [] #k番目のデータに対するその他のデータの距離
            for i in range(num):
                xl = x[i] - x[j]
                yl = y[i] - y[j]
                l2 = (xl) ** 2 + (yl) ** 2
                l = l2 ** 0.5
                l_list.append(l)
            l_li = np.array(l_list)
            l_li = np.sort(l_li)
            ipsilon_list.append(l_li[k])
        abnormals = np.array(ipsilon_list)

        return abnormals/10


    def abnormal_decision(self, abnormals, treshold):
        result_list = []
        num = abnormals.shape[0]
        for i in range(num):
            abnormal = abnormals[i]
            if abnormal > treshold:
                result_list.append(i)
        return result_list

判定結果

離れたところにあるプロットをおおむね識別できた。

閾値εを手動で設定しないといけないなど、実用するには改良しないとだけど、イメージはつかめた。