式だけメモ。これの読み方誰か教えてください。。。
Polyak Averaging
Polyak Averagingは、最適化アルゴリズム中のパラメーター空間内のいくつかのポイントの平均化です。そのため、最適化中にポイント $\theta_1, \theta_2...$ が得られた場合、Polyak Averagingは次のようになります。凸関数用。
\hat\theta_t = \frac{1}{t}\sum_{i=0}^t\theta_i
Polyak-Ruppert Averaging
$\hat\theta_t$ を加重平均します。非凸関数用。
\hat\theta_t = \alpha\hat\theta_{t-1}+(1-\alpha)\hat\theta_t,\alpha\in[0, 1]
後でここに図とか書きます。