はじめに
千葉大学/Nospareの米倉です．今回はポアソン推定量について解説したいと思います．
モチベーション
ある$\mu$を推定したいとし，その対数をとった不偏推定量のみ利用可能だとします．つまり，
$$
\mathbb{E}[\hat{\log\mu}]=\mu
$$
なる推定量$\hat{\log\mu}$が手元にあります．この時に，$\mu$の不偏推定量を$\hat{\log\mu}$から構成することは可能でしょうか？一見抽象的な問いですが，統計学では
$$
\mu(x)=\exp(-\frac{1}{n}\sum_{i=1}^n g(x_i))
$$
のような形の推定対象良く与えられ，$n$が非常に大きい時，この量は爆破的に大きくなり計算するのに適さないことが多々あります．
このような時，その対数をとって$n$より小さい$m$を適当に選び
$$
-\frac{1}{m}\sum_{i=1}^m g(x_i)
$$
とすれば，これは適当な仮定の下で$\log\mu(x)$の不偏推定量になります．しかし，イェンセンの不等式を使えば
$$
\mathbb{E}[\exp(\hat{\log\mu})] \geq \exp(\mathbb{E}[\hat{\log\mu}])=\exp(\mu)
$$
なので，上の$-\frac{1}{m}\sum_{i=1}^m g(x_i)$は$\exp(-\frac{1}{n}\sum_{i=1}^n g(x_i))$の不偏推定量にはこのままではならないです．
ポアソン推定量
今，$\mathbb{E}[\lambda_i]=\log\mu$なるiidの確率変数$\lambda_i$があったとします．言い換えれば，推定対象の$\log$を取ったものの不偏推定量があるとします．この時，
$$
\hat{\mu}=e^{\delta}\prod_{i=1}^J\frac{\lambda_i}{\delta}, J\sim Poisson(\delta)
$$
は$\mu$の不偏推定量であることを示すことが出来て，これをポアソン推定量と呼びます．ここで$ Poisson(\delta)$はパラメーターが$\delta$のポアソン分布です．
証明
証明は意外と簡単です．まずパラメーターが$\delta$のポアソン分布に従う確率変数$Jの$密度関数は
$$
Prob(J=k)=\frac{\delta^ke^{-\delta}}{k!}
$$
で与えられます．これよりポアソン推定量を$J$に対して期待値を取ると
$$
\mathbb{E}[\hat{\mu}]=\sum_{k=0}^{\infty}\frac{\delta^ke^{-\delta}}{k!}e^{\delta}\prod_{i=1}^k\frac{\lambda_i}{\delta}
=1+\sum_{k=1}^{\infty}\frac{1}{k!}\prod_{i=1}^k\lambda_i
$$
と計算できます．各$\lambda_i$は$\log\mu$の不偏推定量でiidだったので，$\lambda$に対しても期待値を取ると結局
$$
\mathbb{E}[\hat{\mu}]=1+\sum_{k=1}^{\infty}\frac{\lambda^k}{k!}
$$
となります．これは$\exp(\lambda)$のテイラー展開に他ならないので，結局
$$
\mathbb{E}[\hat{\mu}]=\lambda
$$
であると示すことが出来ます．最後のテイラー展開のところが天才的だなと思います．
実際に使う時
ポアソン推定量をそのまま使うとかなり分散が大きくなるので，ある実数$c$を用いて
$$
\hat{\mu}=e^{\delta+c}\prod_{i=1}^J\frac{\lambda_i-c}{\delta}
$$
の形で使われることが多いです．ただしいい感じの$c$を見つけることが困難です．
また非常にサイズが大きいデータに対してメトロポリス・ヘイスティングス法で推論を行うと，棄却確率を求める際の尤度の評価の計算コストが非常に高くなります．これを解決するために全てのデータを使うのではなく，上記の様に適当なサイズで区切って対数尤度の不偏推定量を構成し，ポアソン推定量を用いて尤度の不偏推定量を作り棄却確率を近似することが考えられます．しかしこのようにすると，残念ながらMCMCのアウトプットの分散が非常に大きくなることが分かっていて，理論的には美しいのですが実用上は中々うまくいかない推定量であることが知られています．
詳しくは例えば Korattikara et al (2014) Austerity in MCMC land: Cutting the Metropolis-Hastings budget を参照してください．
おわりに
株式会社Nospareでは統計学の様々な分野を専門とする研究者が所属しております．統計アドバイザリーやビジネスデータの分析につきましては株式会社Nospare までお問い合わせください．
