#目次
1.ラグランジュの未定乗数法とは？
2.例題を通してプロセスを理解する
3.定義の確認
4.参考文献
#1.ラグランジュの未定乗数法とは？
主成分分析の主成分を求める過程において、データの分散を主成分の分散に反映させるために、主成分の分散を最大化する際にラグランジュの未定乗数法を用いました。
ラグランジュの未定乗数法とは、制約条件のもとで関数最大化を行うための数学（解析学）的な方法です。SVMでも用いられる手法です。
主成分の分散を最大化するプロセスでは
a_1^2+a_2^2=1
という制約条件を定めた上で未定乗数 $\lambda$
f(a_1,a_2,\lambda)=a_1^2+a_2^2+2r_{x1x2}a_1a_2-\lambda(a_1^2+a_2^2-1)
とおき、$a_1$,$a_2$, $\lambda$を求めました。
#2.例題を通してプロセスを理解する
ラグランジュの未定乗数法を用いた関数最大化を簡単な例題を通じて確認してみましょう。
###例題
$x^2+y^2=1$ のもとで $f(x,y)=2x+3y$の最大値を求めよ。
###解答
g(x,y)=x^2+y^2-1=0
とおき、$f(x), g(x)$ を用いて3変数のラグランジュ関数 $L$を作ります。
L(x,y,\lambda)=2x+3y-\lambda(x^2+y^2-1)
それぞれの変数で偏微分すると、
\begin{align}
\frac{\partial L}{\partial x}&=2-2x\lambda=0\\
\frac{\partial L}{\partial y}&=3-2y\lambda=0\\
\frac{\partial L}{\partial \lambda}&=-x^2-y^2+1=0
\end{align}
これら3変数の三元連立方程式を解けば解の候補が得られます。
上二本から $\lambda$を消去すると
x=\frac{2}{3}y
これと一番下の方程式を元に $x,y$を求めると、
(x, y)=(±\frac{2}{\sqrt{13}},±\frac{3}{\sqrt{13}})\hspace{2cm}
この2つが $f(x,y)$の最大値を与える候補です。
実際に2組を $2x+3y$に代入してみると、プラスの方が最大値$\sqrt{13}$を与えます。ちなみにマイナスは最小値$-\sqrt{13}$を与えます。
#3.定義の確認
例題を通して、ラグランジュの未定乗数法のプロセスは確認できたので、一般化のために定義を確認しましょう。
###ラグランジュの未定乗数法
$g(x,y)=0$のもとで $f(x,y)$を最大化したいという等式制約つきの問題において
$L(x,y,\lambda)=f (x,y)-\lambda g(x,y)$を作ると
$(\alpha,\beta)$が極値を与える→$(\alpha,\beta)$は$\frac{\partial L}{\partial x}=\frac{\partial L}{\partial y}=\frac{\partial L}{\partial \lambda}=0$ の解。
最大値を求めたい関数が$n$次元の場合もラグランジュの未定乗数法は使えます。
