1.はじめに
前回の記事に、機械学習でよく使われる数学記号を整理してみました。
今日は応用編です。
2. k近傍法(k-Nearest Neighbor)
k近傍法のコンセプトは一言で表すと「多数決」です。
「k近傍法とは、分類に使われる手法の一つで、与えられた学習データをベクトル空間上にプロットしておき、未知のデータが得られたら、そこから距離が近い順に任意のk個を取得し、その多数決でデータが属するクラスを推定するというものだ。」出展日経クロストレンド
そして、距離は、ユークリッド距離を使います。
2.1. 数式
P(y=j|X=x) = \frac{1}{K} \sum_{i\in A} I(y^{(i)} = j)
2.2. 数式の意味
2.2.1. 左辺
P(y=j|X=x)
左辺はある点 X=x が与えられたときに、その点がjというクラスに属する確率を示しています。
2.2.2. 左辺
\frac{1}{K} \sum_{i\in A} I(y^{(i)} = j)
そしてそれを具体的に求めるのが右辺です。
Σの部分は、「近傍」に含まれる点を示す添え字i全てについてクラスjに属する数を求めています。
I(y(i)=j) というのは、その点のクラスy(i)がjであるときに1、それ以外の時に0になるような関数を意味しています。
それを足し合わせれば、クラスがjである個数になるのは分かるかと思います。
最後にK個の近傍を取っているので、全体の個数であるKで割ってあげれば、その近傍の中におけるクラスjの割合が求められるわけです。
3. サポートベクターマシン (SVM)
今後記載予定
参考資料