Help us understand the problem. What is going on with this article?

ラグランジュの未定乗数法

More than 3 years have passed since last update.

以下の本を参考にラグランジュ未定乗数法の式の意味を再確認したのでまとめる。

これなら分かる最適化数学―基礎原理から計算手法まで

以下のサイトも参考にした。

ラグランジュの未定乗数法の解説と直感的な証明

ラグランジュの未定乗数法

等式制約条件$g(x, y) = 0$のもと、ある関数$f(x, y)$を最大化または最小化にする際に用いるのがラグランジュの未定乗数法(Lagrange Multipliers)である。

ここで以下の問題を考える。
$$
a
$$
図で表すと以下のようになる。

image.png

$x_1 = x, x_2 = y$と書き直すと
これを満たす最適解は
$$
F (x_1,x_2) = f(x_1, x_2) - \lambda g(x_1, x_2)
$$
とおくと、次の式を満たす。
$$
\frac{\partial F}{\partial x_d}=0 \ (d= 0, 1), \ \quad \frac{\partial F}{\partial \lambda} = 0
$$
$\lambda$はラグランジュ乗数と呼ぶ。

$\frac{\partial F}{\partial x_d}=0 \ (d= 0, 1)$ はつまり$\nabla f = \lambda \nabla g$ を意味している。この式は、等高線$f(x, y)$と曲線$g(x, y)=0$の法線ベクトルは平行ということを示している。何故これを満たさなければならないかというと、曲線上で関数$f(x, y)$が極値(最大、最小)を取る点では、その点を通る$f(x, y)$の等高線が曲線に接しているからであり、このことは等高線$f(x, y)$と曲線$g(x, y)=0$の法線ベクトルは平行ということである。

また、
$$
\frac{\partial F}{\partial \lambda} = 0 \\
g(x, y) = 0
$$
となり、$\frac{\partial F}{\partial \lambda} = 0$は制約条件そのものを示している。
ラグランジュの未定乗数は、多次元で等式制約が複数個ある時も成り立つ。((詳しくは、これならわかる最適化数学 P76~ 参照))

haru-256
情報検索、機械学習、自然言語処理に興味があります。よろしくお願いします。研究内容のメモなどを載せていきたいと思います。
http://haru-256.hatenablog.com/
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした