定理：ラグランジュの未定乗数法
$x,y$はここでは実数としておきます。ここでは2変数に限定して話を進めます。
1.$z=f(x,y)$の極値を与える点$(x,y)=(X,Y)$が存在するとします。
2.また、$x,y$は束縛条件$g(x,y)=0$を満たしているとします。
3.$(x,y)=(X,Y)$において$\frac{\partial g}{\partial y}\neq 0$とします。
このとき、$(x,y)=(X,Y)$において次が同時に成り立つような実数$\lambda$が存在します。
\begin{align}
\frac{\partial f}{\partial x}-\lambda\frac{\partial g}{\partial x}&=0\\
\frac{\partial f}{\partial y}-\lambda\frac{\partial g}{\partial y}&=0\\
g(X,Y)&=0
\end{align}
ラグランジュの未定乗数法を証明します。
1.は次のようにも言い換えられます。
1'.$(x,y)=(X,Y)$において、$f$の全微分は$df=0$をみたす。
また2.より$g$の全微分についても$dg=0$が恒等的に成り立ちます。
これらを以下のように書き直します。
\begin{align}
df&=\frac{\partial f}{\partial x}dx+\frac{\partial f}{\partial y}dy =0 \\
dg&=\frac{\partial g}{\partial x}dx+\frac{\partial g}{\partial y}dy =0
\end{align}
前者は$(x,y)=(X,Y)$において成立し、後者は任意の$x,y$について成立します。
ここで後者を変形し、
$$
dy=-\frac{1}{\frac{\partial g}{\partial y}}\cdot\frac{\partial g}{\partial x}\cdot dx
$$
として前者の式に代入します。
$$
df=
\underline{
\bigg(
\frac{\partial f}{\partial x}-\frac{\frac{\partial f}{\partial y}}{\frac{\partial g}{\partial y}}\cdot \frac{\partial g}{\partial x}
\bigg)
}
\cdot dx
$$
すでに1'.で記したように、この式の下線部は$(x,y)=(X,Y)$で0となることから、
$$
\lambda=\frac{\frac{\partial f}{\partial y}}{\frac{\partial g}{\partial y}}
$$
とおくと題記の関係式が得られます。■
ラグランジュの未定乗数法の使い方
$h(x,y)=f(x,y)-\lambda g(x,y)$とおき（$\lambda$は未定定数）、次の連立方程式を解きます。
\begin{align}
\frac{\partial h}{\partial x}\bigg|_{x,y=X,Y}&=0 \\
\frac{\partial h}{\partial y}\bigg|_{x,y=X,Y}&=0 \\
g(X,Y)&=0
\end{align}
これを解いて定数$X,Y,\lambda$を求めれば、極値$f(X,Y)$が得られます。
ラグランジュの未定乗数法を応用する。
高校数学の公式として知られる次の主張を証明しましょう。
主張：点と直線の距離
直線$ax+by+c=0$と定点$(x_0,y_0)$の距離$d$は次で表される。
$$
d=\frac{|ax_0+by_0+c|}{\sqrt{a^2+b^2}}
$$
証明
直線上の点$(x,y)$と定点$(x_0,y_0)$の距離$d$について、$d^2$を最小化します。
つまり、$g(x,y)=ax+by+c=0$において$d^2=f(x,y)=(x-x_0)^2+(y-y_0)^2$を最小化します。
$$h(x,y)=(x-x_0)^2+(y-y_0)^2-\lambda(ax+by+c)$$
とし、極値を与える点を$(x,y)=(X,Y)$とします。
\begin{align}
\frac{\partial h}{\partial x}\bigg|_{x=X,y=Y}=2(X-x_0)-a\lambda &=0 \\
\frac{\partial h}{\partial y}\bigg|_{x=X,y=Y}=2(Y-y_0)-b\lambda &=0 \\
aX+bY+c&=0
\end{align}
を連立させましょう。まず$X,Y$を消去して
$$\lambda = \frac{-2(ax_0+by_0+c)}{a^2+b^2} $$
を得ます。これを$d^2$の式に代入して
$$ \min(d^2)=f(X,Y)= \frac{1}{4}\lambda^2(a^2+b^2)=\frac{(ax_0+by_0+c)^2}{a^2+b^2} $$
となり、正の平方根を取ることで題記の結果を得ます。■
追記1
この応用例自体は高校数学の縛りでも導出できますが、こちらの方がシンプルであり
さらに応用が利きます。例えば、定点$(x_0,y_0)$と曲線$g(x,y)=0$の（最短）距離は
まったく同様の計算から導出できます。
追記2 なぜ最小値なのか
ところで、ここで求めた$\min(d^2)$は極値であることは間違いありませんが、なぜ最小値となるのでしょうか？ これは$f(x,y)$をそれぞれ$x,y$で二階偏微分すると正の係数が残ることから、図形が下に凸であると言えるためです。
追記3 身も蓋もありませんが……
ここまで書いていて気付いたのですが、ラグランジュの未定乗数法は束縛条件式$g(x,y)=0$が陰関数のときに有効な手法です。
この例では$ax+by+c=0$は$y=...$の形に表現できるので、そのまま$d^2$の式に代入して
$y$を消去すれば単純な一変数関数の微分問題に帰着できます。
（ただし二次式の展開がちょこちょこ入って面倒です）