##問題
$\mathrm{0{\le}y(x,w){\le}1}$となるロジスティックシグモイド活性化関数を出力に持ち.データが目標値$\mathrm{t\in}${0, 1}を持つようなネットワークについて2クラス分類問題における誤差関数(5.21) が導かれた.ネットワークの出力が$\mathrm{-1{\le}y(x,w){\le}1}$であり,目標値がクラス$\mathrm{C_1}$についてはt=1,クラス$\mathrm{C_2}$についてはt=-1であるようなネットワークを考えた時, 対応する誤差関数を導け. 出力ユニットの活性化関数はどのように選ぶのが適切か.
\begin{align*}
\mathrm{E(w)=-\sum^N_{n=1}\bigl\{t_nlny_n+(1-t_n)ln(1-y_n)\bigr\}}
\tag{5.21}
\end{align*}
##方針
すでに得られた誤差関数(5.21)を新たな目標値と出力(活性化関数)である$\mathrm{t\in}${-1,1}と$\mathrm{-1{\le}y(x,w){\le}1}$に対応付けて更新していく. (出力ユニットの活性化関数にはロジスティックシグモイド関数とほとんど同じ性質を持つ$\mathrm{tanh}$が選ばれることが予想される.)
\begin{align*}
\mathrm{tanhx=\frac{exp(x)-exp(-x)}{exp(x)+exp(-x)}}
\tag{a}
\end{align*}
##解答
新たな目標値をt', 出力(活性化関数)をy'とする. それぞれロジスティックシグモイド活性化関数を出力に持つネットワークのt, yを用いて以下のように表すことができる.
\begin{align*}
\mathrm{t'}&=\mathrm{2t-1}
\tag{b}\\
\mathrm{y'}&=\mathrm{2y-1}
\tag{c}
\end{align*}
したがってt,yは新たな目標値(t')と出力(y')を用いることで以下のように表すことができる.
\begin{align*}
\mathrm{t}&=\mathrm{\frac{t'+1}{2}}
\tag{b.1}\\
\mathrm{y}&=\mathrm{\frac{y'+1}{2}}
\tag{c.1}
\end{align*}
(b.1), (c.1)を用いることで(5.21)で与えられる誤差関数を新たなネットワークに対応させる.
\begin{align*}
\mathrm{E(w)=-\sum^N_{n=1}\bigl\{t_nlny_n+(1-t_n)ln(1-y_n)\bigr\}}
\tag{5.21}
\end{align*}
\begin{align*}
\mathrm{E(w)}&=\mathrm{-\sum^N_{n=1}\bigl\{\frac{t_n'+1}{2}ln\frac{y_n'+1}{2}+\bigl(1-\frac{t_n'+1}{2}\bigr)ln\bigl(1-\frac{y_n'+1}{2}\bigr)\bigr\}}
\tag{5.21.a}\\
&=\mathrm{-\frac{1}{2}\sum^N_{n=1}\bigl\{(t'_n+1)ln(y'_n+1)+(1-t'_n)ln(1-y'_n)\bigr\}}+\mathrm{Nln2}
\end{align*}
よって目標値がクラス$\mathrm{C_1}$についてはt=1,クラス$\mathrm{C_2}$についてはt=-1であるようなネットワークに対応する誤差関数を導出することができた.
また対応する活性化関数y'は(5.19)と(c)より導き出せる.
\begin{align*}
\mathrm{y=\sigma(a)\equiv\frac{1}{1+exp(-a)}}
\tag{5.19}
\end{align*}
よって
\begin{align*}
\mathrm{y'}&=\mathrm{2\sigma(a)-1}\\
&=\mathrm{\frac{exp(a/2)-exp(-a/2)}{exp(a/2)+exp(-a/2)}}\\
&=\mathrm{tanh(a/2)}
\tag{c}
\end{align*}
したがって題意は示された.