PRML_6期

1.1 多項式曲線フィッティング~1.2.1 確率密度

1.1 多項式曲線フィッティング

4P_要約

入力された値から関連する値を予測したい場合、法則性を導く必要がある。

限りある入力値からランダムノイズ(不規則に発生する通常だと入力されないような異常な値)を考慮した上で法則性を見つけ出し、新規に入力された値xから関連する値tを予測することが今回の目標である。

*ランダムノイズについては1.2節/1.5節で説明をする。

今回はひとまず法則性を発見するアプローチの一つとして多項式曲線フィッティングについて説明する。

【多項式曲線フィッティング_公式】

$y(x,w)=w_0+w_1 x+w_2 x^2+\cdots+w_M x^M =\sum_{j=0}^Mw_jx^j$

まず、予測した値と実際の出力値を表現すると下記となる。

$E(w)=\frac{1}{2}\sum_{n=1}^N [y(x_n,w)-t_n] ^2 $

※1 何故、二乗するのか
→誤差どおしでの打消を防ぐため二乗和誤差を採用している。

通常の平均値を取った場合、誤差どおしで値の打消が発生する場合がある。

ex.
誤差として1,-1,2,-2という値があったとする。
例えば通常の平均を取るのであれば下記のようになり誤差の値は0ととなってしまう。

$\frac{1+(-1)+2+(-2)}{4}=\frac{0}{4}$

二乗和誤差であれば数値が全て正の値となり、
$(1)^2+(-1)^2+(2)^2+(-2)^2=10$

通常の平均値で算出ときには0となってしまう誤差を表現できる。

※2 何故、$\frac{1}{2}$をするのか?
→二乗和を微分したら2が出てくることが分かっているため。

ex.下記条件の場合を仮定して説明する。
1.データ点(w)が一定
2.データ個数が2個

$E(x)=\sum_{n=1}^2[y(x)-t_n]^2$

$=x^2-2xt_1+t_1^2+x^2-2xt_2+t_2^2$

$=2x^2-2x(t_1+t_2)+t_1^2+t_2^2$

$\frac {dE(x)}{dx}=4x-2(t_1+t_2)-0$

$4x=2(t_1+t_2)$

$x=\frac{t_1+t_2}{2}$

Point

1.PNG

目的変数tと同じ尺度でデータ集合を比較するには平均二乗平方根誤差(RMS error)を用いる。

$Eems=\sqrt{\frac{2E(w*)}{N}}$

7P_要約

Mが大きく自由度の高い多項式は予測した値がランダムノイズに引きずられてしまうため精度が逆に低くなってしまう。

正則化(ragularition)・・・誤差関数に罰金項を付加することにより係数が大きな値になることを防ごうとするものである。

image.png

image.png

~1.2 確率論については8/23の夜更新します。

1.2 確率論

不確実性……計測ノイズやデータ集合のサイズが有限であることによって法則外の値が発生する事象。

確率……事象の集合が互いに排反で、それらがすべての可能な場合を含んでいれば、それらの事象の確率地の総和は1にならなければならない。

9P_要約

選択後の確率などパターン認識に問題に関連したより込み入った質問に答えるには2つの基本的な法則をしている必要がある。
①確率の加法定理(sum of probability)
$p(X,Y)=\sum_{Y}p(X,Y)$
②確率の乗法定理(product rule of probability)
$p(X,Y)=p(X|Y)p(X)$

$p(X,Y)$ = 同時確率(結合確率)……XかつYの確率
$p(X|Y)$ = 条件付き確率……Xが与えられた下でのYの確率

image.png

①について解説

image.png

②について解説
image.png