問題
$t$ = 0または$t$ = 1に対応する2クラスの1つに属することが知られている各観測値$\mathbf{x} _ {n}$における2値分類問題を考える。このとき、学習データがときどき間違ったラベルを付けられるため、学習データの収集手順は完全なものではないと仮定する。すべてのデータ$\mathbf{x} _ {n}$に対し、クラスラベルの値$t_n$を与える代わりに、$t_n = 1$となる確率を表現する値$\pi_n$を与える。確率モデル$p(t = 1|\phi)$が与えられた場合、そのようなデータ集合に適切な対数尤度関数を記述せよ。
参考
*少々怪しい解答になることをご了承ください。
クラスラベルの値$t_n$が{0, 1}の時はベルヌーイ分布となるため、
\begin {align*}
p_n = p\left(t_{n}=1 | \phi\left(\mathbf{x}_{n}\right)\right)
\end {align*}
とおくと、観測値$\mathbf{x} _ {n}$における尤度関数、および対数尤度関数は
\begin {align*}
p\left(t_{n} | \phi\left(\mathbf{x}_{n}\right)\right)=p_n^{t_{n}} (1 - p_n)^{1-t_{n}}
\tag{ex4.16.1}
\end {align*}
\begin {align*}
\ln p\left(t_{n} | \phi\left(\mathbf{x}_{n}\right)\right)=t_{n} \ln p_{n}+(1-t_{n} ) \ln \left(1-p_{n}\right)
\tag{ex4.16.2}
\end {align*}
と簡単に表すことができる。(ex4.16.2)は観測値$\mathbf{x} _ {n}$は$t_n=1$の時対数尤度関数を$\ln p_n$だけ増加させ、$t_n=0$の時対数尤度関数を$\ln (1 - p_n)$だけ増加させていると解釈することができる。
解答
今回の問題は
「クラスラベルの値$t_n$を与える代わりに、$t_n = 1$となる確率を表現する値$\pi_n$を与える。」という点が特殊である。この条件は「参考」における解釈を用いると、確率$\pi_n$で対数尤度関数を$\ln p_n$だけ増加させ確率$1-\pi_n$で対数尤度関数を$\ln (1 - p_n)$だけ増加させると考えることができる。
そのため、今回の対数尤度関数は(ex4.16.2)を少し変形してやると、
\begin {align*}
\ln p\left(t_{n} | \phi\left(\mathbf{x}_{n}\right)\right)=\pi_{n} \ln p_{n}+(1-\pi_{n} ) \ln \left(1-p_{n}\right)
\end {align*}
と表すことができる。さらにnが1からNまでの値を表すと考えると、
\begin {align*}
\ln p\left(\mathbf{t} | \phi\right)=\sum_{n=1}^N \{\pi_{n} \ln p_{n}+(1-\pi_{n} ) \ln \left(1-p_{n}\right)\}
\end {align*}
これで対数尤度関数を記述することができた。