問題
制約式（7.5）において、右辺の1を任意の正数$\gamma$で置き換えても、マージン最大の超平面は変化しないことを示せ。
\begin {align*} t_{n}\left(\mathbf{w}^{\mathrm{T}} \phi\left(\mathbf{x}_{n}\right)+b\right) \geqslant 1, \quad n=1, \ldots, N \tag{7.5} \end {align*}
方針
この問題は(7.5)における右辺を任意の整数に置き換えてマージン最大の超平面を求め、元の(7.5)を用いて求めたマージン最大の超平面と比較することで証明できる。
解答
(7.5)の右辺を$r$に置き換えると、
\begin {align*}
t_{n}\left(\mathbf{w}^{\mathrm{T}} \phi\left(\mathbf{x}_{n}\right)+b\right) &\geqslant r \\
\frac{t_{n}\left(\mathbf{w}^{\mathrm{T}} \phi\left(\mathbf{x}_{n}\right)+b\right)}{r} &\geqslant 1, \quad n=1, \ldots, N
\tag{7.5'}
\end {align*}
となる。元の(7.5)の条件式をもとにしてマージンの最大化を行い、求められた解を$\mathbf{w}^{\star}$、$b^{\star}$とおくと、新しい(7.5')の条件式をもとにしてマージンの最大化を行い、求められた解は${r}{\mathbf{w}^{\star}}$、${r}{b^\star}$と書ける、
この時のマージンは(7.5)(7.5')双方において、
\begin {align*}
\frac{t_{n}\left(\mathbf{w}^{\star\mathrm{T}} \boldsymbol{\phi}\left(\mathbf{x}_{n}\right)+b^\star\right)}{\|\mathbf{w}^\star\|}
\tag{7.2}
\end {align*}
となる。よって、制約式（7.5）において、右辺の1を任意の正数$\gamma$で置き換えても、マージン最大の超平面は変化しない。