自己紹介
はじめまして．keygoroと申します．今回，markdownで数式を書く練習を兼ねて，確率密度関数について書かせていただきました．はじめての投稿ですが，どうぞよろしくお願い致します．
###はじめに
この記事では，ガウス分布の確率密度関数$p(x)$を積分した結果が1になること，平均が$\mu$，分散が$\sigma^2$であることを証明する．すなわち，
$$
\int_{-\infty}^{\infty}p(x)dx=1
$$
$$
\mu=\int_{-\infty}^{\infty}xp(x)dx
$$
$$
\sigma^2=\int_{-\infty}^{\infty}(x-\mu)^2p(x)dx
$$
の3式を証明する．
確率密度関数
連続型確率変数$X$に対して，$a\leq X \leq b$の確率が，
$$
P(a\leq X\leq b)=\int_a^b p(x)dx\ (x \in \mathcal{X})
$$
と与えられるとき，$p(x)$を確率密度関数という．また，確率密度関数$p(x)$に対して，
$$
\int_{-\infty}^{\infty}p(x)dx=1
$$
が成り立つ．
確率密度関数の平均・分散
連続型確率変数Xに対して，
$$
\int_{\infty}^\infty xp(x)dx
$$
を，$X$の期待値，または平均といい，$\mu$と表す．
$$
\int_{\infty}^\infty (x-\mu)^2 p(x)dx
$$
を$X$の分散といい，$\sigma^2$と表す．また，$\sigma$を標準偏差と呼ぶ．
確率変数に対して確率密度関数が与えられたとき，確率分布が決まる．重要な確率分布として，ガウス分布がある．
ガウス分布
実数$\mu$,$\sigma$について，確率密度関数が
$$
p(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[{-\frac{(x-\mu)^2}{2\sigma^2}}\right]
$$
で与えられる確率分布をガウス分布あるいは正規分布といい，$\mathcal{N}(\mu,\sigma^2)$と表す．とくに，$\mathcal{N}(0,1)$を標準正規分布という．また，確率変数$X$がガウス分布$\mathcal{N}(\mu,\sigma^2)$に従うとき，
$$
\mu=\int_{-\infty}^{\infty}xp(x)dx
$$
$$
\sigma^2=\int_{-\infty}^{\infty}(x-\mu)^2p(x)dx
$$
が成り立つ．
準備
証明の準備として，証明中で用いる式を証明しておく．
準備1
$$
\int_{-\infty}^{\infty}e^{-x^2}dx=\sqrt{\pi}\tag{1}
$$
証明
$$
I=\int_{-\infty}^{\infty}e^{-x^2}dx
$$
とおき，2乗すると，
$$
\begin{split}
I^2&=\left(\int_{-\infty}^{\infty}e^{-x^2}dx \right)\left(\int_{-\infty}^{\infty} e^{-y^2}dy\right)\
&=\int_{-\infty}^{\infty}\int_{\infty}^{\infty}e^{-(x^2+y^2)}dxdy
\end{split}
$$
と変形できる．ここで，$x=r\cos\theta,\ y=r\sin\theta$とおくと，積分区間は，$\theta:0\to2\pi$，$r:0\to\infty$となる．ヤコビアンを計算すると，
\begin{vmatrix}
{\frac{\partial x}{\partial r}} & {\frac{\partial x}{\partial \theta}} \\
{\frac{\partial y}{\partial r}} & {\frac{\partial y}{\partial \theta}}
\end{vmatrix}
=\begin{vmatrix}
{\cos{\theta}} & {-r\sin{\theta}} \\
{\sin{\theta}} & {r\cos{\theta}}
\end{vmatrix}
=r\cos^2{\theta}+r\sin^2{\theta}=r
となる．したがって，
\begin{split}
I^2&=\int_0^{2\pi}\int_0^{\infty}e^{-r^2}rdrd\theta\\
&=\int_0^{2\pi}d\theta\int_0^{\infty}e^{-r^2}rdr\\
&=2\pi\int_0^{\infty}re^{-r^2}dr\\
&=2\pi\left[-\frac{1}{2}e^{-r^2}\right]_0^{\infty}\\
&=\pi(-e^{-{\infty^2}}+e^0)\\
&=\pi
\end{split}
となり，$I^2>0$であるから，$I=\sqrt{\pi}$である.
準備2
$$
\int_{-\infty}^{\infty}e^{-ax^2}dx=\sqrt{\frac{\pi}{a}}\tag{2}
$$
証明
$t=\sqrt{a}x$とおくと，
$$
\frac{dt}{dx}=\sqrt{a} \leftrightarrow \frac{1}{\sqrt{a}}dt=dx
$$
となるから，
$$
\int_{-\infty}^{\infty}e^{-ax^2}dx=\frac{1}{\sqrt{a}}\int_{-\infty}^{\infty}e^-{t^2}dt
$$
となる．ここで式(1)より，
$$
\frac{1}{\sqrt{a}}\int_{-\infty}^{\infty}e^-{t^2}dt=\sqrt{\frac{\pi}{a}}
$$
が得られる．
準備3
$$
\int_{-\infty}^{\infty}x^2e^{-ax^2}dx=\frac{1}{2a}\sqrt{\frac{\pi}{a}}\tag{3}
$$
証明
$$
I(a)=\int_{-\infty}^{\infty}e^{-ax^2}dx
$$
とおくと，
$$
\begin{split}
\frac{dI(a)}{da}&=\int_{-\infty}^\infty \frac{\partial }{\partial a}(e^{-ax^2})dx\
&=-\int_{-\infty}^{\infty}x^2e^{-ax^2}dx
\end{split}
$$
となる．したがって，
$$
\begin{equation}
\int_{-\infty}^{\infty}x^2e^{-ax^2}dx=-\frac{dI(a)}{da}
\end{equation}
$$
と変形できる．
ここで，式(2)から，
$$
\begin{equation}
\int_{-\infty}^{\infty}x^2e^{-ax^2}dx=-\frac{dI(a)}{da}\left(\sqrt{\frac{\pi}{a}}\right)=\frac{1}{2a}\sqrt{\frac{\pi}{a}}
\end{equation}
$$
となる．
確率密度関数に関する3つの証明
この章では，ガウス分布$\mathcal{N}(\mu,\sigma^2)$の確率密度関数
$$
\begin{equation}
p(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left[{\frac{-(x-\mu)^2}{2\sigma^2}}\right]
\end{equation}
$$
について，
$$
\begin{equation}
\int_{-\infty}^{\infty}p(x)dx=1
\end{equation}
$$
$$
\begin{equation}
\mu=\int_{-\infty}^{\infty}xp(x)dx
\end{equation}
$$
$$
\begin{equation}
\sigma^2=\int_{-\infty}^{\infty}(x-\mu)^2p(x)dx
\end{equation}
$$
の3式を証明する．
確率密度関数のすべての和が1になることの証明
$$
\begin{equation}
\int_{-\infty}^{\infty}p(x)dx=1\tag{4}
\end{equation}
$$
が成り立つことを証明する．
証明
$$
\begin{equation}
\int_{-\infty}^{\infty}p(x)dx=\frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^{\infty}\exp\left[{\frac{(x-\mu)^2}{2\sigma^2}}\right]dx
\end{equation}
$$
ここで，
$$
t=\frac{x-\mu}{\sqrt{2}\sigma}
$$
とおくと，$x=\mu+\sqrt{2}\sigma t$と変形できる．これを$x$で微分し変形すると，$dx=\sqrt{2}\sigma dt$が得られる．したがって，
$$
\begin{equation}
\begin{split}
\int_{-\infty}^{\infty}p(x)dx&=\frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^{\infty}e^{-t^2}\sqrt{2}\sigma dt \
&=\frac{1}{\sqrt{\pi}}\int_{-\infty}^{\infty}e^{-t^2}dt
\end{split}
\end{equation}
$$
となる．また，式(2)から，
$$
\begin{equation}
\int_{-\infty}^{\infty}e^{-t^2}dt=\sqrt{\pi}
\end{equation}
$$
となるから，
$$
\begin{equation}
\int_{-\infty}^{\infty}p(x)dx=1
\end{equation}
$$
となる．よって，示された．
確率密度関数の平均の証明
$$
\begin{equation}
\mu=\int_{-\infty}^{\infty}xp(x)dx\tag{5}
\end{equation}
$$
が成り立つことを証明する．
証明
$$
\begin{equation}
\int_{-\infty}^{\infty}xp(x)dx=\frac{1}{\sqrt{2\pi\sigma^2}}\int_{-\infty}^{\infty}x\exp\left[{\frac{(x-\mu)^2}{2\sigma^2}}\right]dx
\end{equation}
$$
ここで，4.1節と同様に
$$
t=\frac{x-\mu}{\sqrt{2}\sigma}
$$
とおくと，$dx=\sqrt{2}\sigma dt$が得られる．したがって，
\begin{equation}
\begin{split}
\int_{-\infty}^{\infty}xp(x)dx&=\frac{1}{\sqrt{\pi}}\int_{-\infty}^{\infty}(\mu+t\sqrt{2}\sigma)e^{-t^2}dt\\
&=\frac{1}{\sqrt{\pi}}\left[\mu\int_{-\infty}^{\infty}e^{-t^2}dt+\sqrt{2}\sigma \int_{-\infty}^{\infty}te^{-t^2}dt \right]
\end{split}
\end{equation}
ここで，$te^{-t^2}$は奇関数であるから，
$$
\begin{equation}
\int_{-\infty}^{\infty}te^{-t^2}dt=0
\end{equation}
$$
となる．また，式(1)から，
$$
\begin{equation}
\int_{-\infty}^{\infty}xp(x)dx=\frac{\mu}{\sqrt{\pi}}\sqrt{\pi}=\mu
\end{equation}
$$
となる．
確率密度関数の分散の証明
$$
\begin{equation}
\sigma^2=\int_{-\infty}^{\infty}(x-\mu)^2p(x)dx\tag{6}
\end{equation}
$$
が成り立つことを証明する．
証明
\begin{equation}
\begin{split}
\int_{-\infty}^{\infty}(x-\mu)^2p(x)dx&=\int_{-\infty}^{\infty}(x^2-2\mu x+\mu^2)p(x)dx\\
&=\int_{-\infty}^{\infty}x^2p(x)dx-2\mu\int_{-\infty}^{\infty}xp(x)dx+\mu^2\int_{-\infty}^{\infty}p(x)dx
\end{split}
\end{equation}
となり，
$$
\int_{-\infty}^{\infty}p(x)dx=1,\ \int_{-\infty}^{\infty}xp(x)dx=\mu
$$
であったので，
$$
\begin{equation}
\int_{-\infty}^{\infty}(x-\mu)^2p(x)dx=\int_{-\infty}^{\infty}x^2p(x)dx-\mu^2
\end{equation}
$$
となる．ここで，
$$
\int_{-\infty}^{\infty}x^2p(x)dx
$$
を計算する．ここでも4.1節の証明と同様に置換積分を行うと，
\begin{equation}
\begin{split}
\int_{-\infty}^{\infty}x^2p(x)dx&=\frac{1}{\sqrt{\pi}}\int_{-\infty}^{\infty}(2\sigma t+\mu)^2e^{-t^2}dt\\
&=\frac{1}{\sqrt{\pi}}\left(2\sigma^2\int_{-\infty}^{\infty}t^2e^{-t^2}dt+\sqrt{2}\sigma\mu\int_{-\infty}^{\infty}te^{-t^2}dt+\mu^2\int_{-\infty}^{\infty}e^{-t^2}dt \right)
\end{split}
\end{equation}
となり．式(1)，式(2)と，$te^{-t^2}$が奇関数であることから，
$$
\begin{equation}
\int_{-\infty}^{\infty}x^2p(x)dx=\frac{2\sigma^2}{\sqrt{\pi}}\frac{\sqrt{\pi}}{2}+\mu^2=\sigma^2+\mu^2
\end{equation}
$$
となる．したがって，
$$
\begin{equation}
\int_{-\infty}^{\infty}(x-\mu)^2p(x)dx=\sigma^2+\mu^2-\mu^2=\sigma^2
\end{equation}
$$
となる．よって，示された．
まとめ
ガウス分布の確率密度関数の積分が1になること，平均が$\mu$,分散が$\sigma^2$となることを証明した．
参考文献
[1]有本 卓:システムサイエンスシリーズ カルマン・フィルター(産業図書，1977)
[2]柴田 文明:理工系の基礎数学7，確率・統計(岩波書店，1996)
[3]原 啓介:測度・確率・ルベーグ積分(講談社，2017)