本文章はStan Modeling Language
Stan Development Team. 2015. Stan Modeling Language Users Guide and Reference Manual, Version 2.7.0.の5-2章: Priors for Coefficients and Scalesの翻訳となります。
訳者は勉強がてら翻訳しようと思っただけで、プログラムの専門家でもデータ解析の専門家でもありません。そのため誤訳・意味の取り違えなどあると思いますが、その際はご指摘いただけると幸いです。5章は長いので何回かに分けて進めたいと思います。また、翻訳ペースも気分しだいです。ご了承ください。科研やその他申請書の延長戦をこなしているうちに気がついたらVer. 2.8.0が出ていますがとりあえず気にしないことにします。とりあえず少しづつでも進めようと思ったので今回はここまででご勘弁を…。
5.2.回帰係数・尺度の事前分布
このセクションでは回帰の回帰係数や尺度の事前分布をモデル化するために利用可能な手法を示します。単変量の階層モデルについての事前確率については5.9で、多変量モデルの事前確率については5.12で紹介します。また、5.11ではモデルを識別するための事前分布について議論します。
背景知識
Gelman, 2006には尺度パラメータの事前分布の選択、Chung et al., 2013には尺度パラメータの罰則付き最尤法、Gelman, 2008には回帰係数の事前分布の選択についての解説がまとまっています。
Improperな一様分布
Stanのデフォルト設定では、宣言された制約により決められた値から、パラメータに一様な確率分布を与えます。デフォルトの設定、つまり制約無しで宣言されたパラメータの一様分布は(-∞,∞) の範囲で与えられますが、制約条件として0を下限として与えられたパラメータの場合には、(0,∞)が十分に広い一様分布として与えられます。いずれの事前分布も、積分すると1にならず、それらの密度関数を定式化することができないという意味でimproperな分布だということができます。
Stanではimproperな事前分布を使ってモデルを定式化することができますが、サンプリングや最適化を上手く実行するためには、事後分布がproperなデータが得られているか確かめる必要があります。確認のためには通常、最低限のデータをデータ量が必要ですが、推論の出発点としてや、感度分析のためのベースラインとして有用でしょう（すなわち、事前分布が事後分布に与える影響を考慮するということ）。
一様分布は定められた尺度によって固有の分布をとります。例えば、尺度パラメータσ > 0を与えた場合、一様分布は (0,∞),q(σ) = c (我々はqを使うようにしています。これは、"密度"は非正規とは限りませんが、非正規として扱うことができるためです。)となります。また、logスケールの尺度パラメータ、logσが与えられた場合には一様分布は (-∞,∞), q(logσ) = c として働きます。log変換にはヤコビアン近似が必要であるため、これらは分散の異なる事前分布として機能します。Section 55.1に、より詳細な変数変換やそのために必要なヤコビアン近似についての情報を載せています。
Stanでは沿った制約値に均一な確率密度を確保するために、自動で制約付きで宣言された変数のために必要なヤコビアンを調節します。ヤコビアンの調節は、最尤推定に基づく最適化の際にはオフになります。