機械学習
AI
人工知能
統計学
確率論

確率論 ~確率密度関数と積率母関数(モーメント母関数)~

最も代表的な確率分布として、以下のようなものが挙げられます。

  • 一様分布
  • 二項分布
  • ポアソン分布
  • 正規分布
  • 指数分布

これらの分布の確率密度関数(Probability Density Function, p.d.f.)や
積率母関数もしくはモーメント母関数(Moment Generating Function, m.g.f.)について、
導出は勿論、関数の形は覚えておくだけでも、非常に有効です。

一様分布

p.d.f. f(x)=\begin{cases}\dfrac{1}{b-a}&(a\leq x\leq b)\\\\0&(\mathrm{Otherwise})\end{cases}
m.g.f. m_X(t)=E[e^{tX}]=\dfrac{e^{tb}-e^{ta}}{t(b-a)} (a\leq x\leq b)

【証明】

m_X(t)=E[e^{tX}]\\
=\int_a^be^{tx}f(x)dx\\ 
=\int_a^be^{tx}\dfrac{1}{b-a}dx\\
=\dfrac{1}{b-a}\left[\dfrac{e^{tx}}{t}\right]_a^b\\ 
=\dfrac{e^{tb}-e^{ta}}{t(b-a)}

二項分布

p.d.f. p(k)={}_n\mathrm{C}_kp^k(1-p)^{n-k} (k=0,1,\cdots, n)
m.g.f.  m_X(t)=E[e^{tX}]=(pe^t+1-p)^n

【証明】

m_X(t)=E[e^{tX}]\\
=\sum_{k=0}^ne^{tk}p(k)\\
=\sum_{k=0}^ne^{tk}{}_n\mathrm{C}_kp^k(1-p)^{n-k}\\
=\sum_{k=0}^n{}_n\mathrm{C}_k(pe^t)^k(1-p)^{n-k}\\

二項定理より、

=(pe^t+1-p)^n

ポアソン分布

p.d.f. f(x)=\dfrac{{e^{-λ}}λ^x}{x!} (k=0,1,2,\cdots)
m.g.f. m_X(t)=E[e^{tX}]=e^{λ(e^t-1)}

【証明】

m_X(t)=E[e^{tX}]\\
=\sum_{x=0}^{\infty}e^{tx}f(x)\\
=\sum_{x=0}^{\infty}e^{tx}\dfrac{{e^{-λ}}λ^x}{x!}\\
=e^{-λ}\sum_{x=0}^{\infty}\dfrac{(\lambda{e^{t}})^x}{x!}\\

マクローリン展開より、

\sum_{x=0}^{\infty}\dfrac{(\lambda{e^{t}})^x}{x!}=e^{\lambda{e^{t}}}

したがって、

=e^{\lambda(e^t-1)}

正規分布

p.d.f. f(x)=\dfrac{1}{\sqrt{2\pi}{\sigma}}e^{-\dfrac{(x-\mu)^2}{2{\sigma}^2}}
m.g.f. m_X(t)=E[e^{tX}]=e^{{\mu}{t}+\dfrac{{\sigma}^2{t^2}}{2}}

【証明】

m_X(t)=E[e^{tX}]\\
=\int_{-\infty}^{\infty}e^{tx}f(x)dx\\
=\int_{-\infty}^{\infty}e^{tx}\dfrac{1}{\sqrt{2\pi}{\sigma}}e^{-\dfrac{(x-\mu)^2}{2{\sigma}^2}}dx\\
=\int_{-\infty}^{\infty}\dfrac{1}{\sqrt{2\pi}{\sigma}}e^{tx-\dfrac{(x-\mu)^2}{2{\sigma}^2}}dx\\
=\dfrac{1}{\sqrt{2\pi}{\sigma}}\int_{-\infty}^{\infty}e^{-\dfrac{\{x-(\mu+\sigma^2t)\}^2}{2\sigma^2}+\mu{t}+\dfrac{{\sigma}^2{t^2}}{2}}dx\\
=e^{\mu{t}+\dfrac{{\sigma}^2{t^2}}{2}}\int_{-\infty}^{\infty}\dfrac{1}{\sqrt{2\pi}{\sigma}}e^{-\dfrac{\{x-(\mu+\sigma^2t)\}^2}{2\sigma^2}}dx\\

$N(\mu+\sigma^2t,\sigma^2)$ の $p.d.f.$ より、

\int_{-\infty}^{\infty}\dfrac{1}{\sqrt{2\pi}{\sigma}}e^{-\dfrac{\{x-(\mu+\sigma^2t)\}^2}{2\sigma^2}}dx=1

したがって、

=e^{\mu{t}+\dfrac{{\sigma}^2{t^2}}{2}}

指数分布

p.d.f. f(x)={\lambda}e^{-{\lambda}x} (x\geq0)
m.g.f. m_X(t)=E[e^{tX}]=\dfrac{\lambda}{\lambda-t}

【証明】

m_X(t)=E[e^{tX}]\\
=\int_{0}^{\infty}e^{tx}f(x)dx\\
=\int_{0}^{\infty}e^{tx}{\lambda}e^{-{\lambda}x}dx\\
=\lambda\int_{0}^{\infty}e^{(t-\lambda)x}dx\\
=\lambda\Biggr[\dfrac{e^{(t-\lambda)x}}{t-\lambda}\Biggr]_{0}^{\infty}

$t-\lambda<0$ のとき、

=\dfrac{\lambda}{t-\lambda}(0-1)\\
=\dfrac{\lambda}{\lambda-t}