Help us understand the problem. What is going on with this article?

イェンセン(Jensen)の不等式の直感的理解

More than 3 years have passed since last update.

確率変数に関するイェンセン(Jensen)の不等式を、例を用いて直感的に理解してみようという記事です。

$x$を確率変数、$p(x)$をxの確率密度関数とすると、その期待値$E[x]$は

E[x] = \int xp(x)dx

と表現されます。このとき、上に凸な関数 $f(x)$ について、

f(E[x]) \ge E[f(x)]

が成り立つことを、 イェンセン(Jensen)の不等式と呼びます。この証明は既に色々なところで解説(例えばこちら)されていますのでここでは省略します。

この不等式 $f(E[x]) \ge E[f(x)]$ を直感的に理解するために、乱数を用いた例をグラフで表現してみます。

まず、xが正規分布に従う確率変数だとして、そこから発生する乱数を作ってみます。また、そのxを $f(x)=-x^2+10$ という上に凸な関数で変換します。
下記のグラフの上部にあるヒストグラムが正規分布に従うxの分布で、右側にあるヒストグラムが$x^2$が従う分布です。
つまり、イェンセンの不等式は下記の赤い丸(期待値をとってから、つまり上のヒストグラムの平均をとってから、 $f(x)$ で変換)の方が、緑の丸($f(x)$で変換してから期待値を取る、つまり右のヒストグラムの平均値) よりも大きいことを示しているのです。

jensen_explanation.png

xの分布である正規分布の平均をずらしてアニメーション化してみたものが下記です。どの場合も緑の丸が、赤い丸より下にあることがわかります。

jensen.gif

この不等式、何がいいの???

イェンセンの不等式

f(E[x]) \ge E[f(x)]

は、$f(E[x])$を最大化したいが、この関数がなにものであるか不明であるとき、$E[f(x)]$であれば計算できるのであれば、$E[f(x)]$が$f(E[x])$の下限として扱えるため、計算可能な$E[f(x)]$の最大化を行うことで、本来のターゲットである$f(E[x])$の最大化を行えることです。

よく使われるのは $\log(\cdot)$が上に凸な関数であるため、

log \int p(x)f(x)dx \ge \int p(x) log f(x)dx

のように、$\log(\cdot)$を積分の中に入れて計算できるようにするといったことです。

ちょっとわかりづらいですが、$\log(\cdot)$の場合のアニメーションがこちらです。
右側のヒストグラムを見ると下側に歪んでいるので、平均値が下にずれることが感覚的にもわかります。その分、緑の丸が、赤い丸より下になってしまうことが見て取れます。
jensen_log.gif

参考

1.8 確率変数の不等式 1
http://mcm-www.jwu.ac.jp/~konno/pdf/statg-1-8r.pdf

この記事で使ったグラフを記述したPythonコード
https://github.com/matsuken92/Qiita_Contents/blob/master/General/Jensens-inequality.ipynb

kenmatsu4
Kaggle Master (https://www.kaggle.com/kenmatsu4) データ解析的なことや、統計学的なこと、機械学習などについて書いています。 【今まで書いた記事一覧】http://qiita.com/kenmatsu4/items/623514c61166e34283bb 【English Blog】 http://kenmatsu4.tumblr.com
https://www.kaggle.com/kenmatsu4
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした