GELU の 2 乗の期待値を求めます。$\sigma = 1$ なら式 $(2)$ は $1/3 + 1/(2 \pi \sqrt{3})$ になります。
定義 1 (GELU): $\operatorname{GELU}: \mathbb{R} \to \mathbb{R}$ を式 $(1)$ で定義する。ここで、$\Phi(x)$ は標準正規分布の累積分布関数である。
$$
\operatorname{GELU}(x) = x\Phi(x)
\tag{1}
$$
命題 1 (平均 0 の正規分布にしたがう確率変数に GELU を適用したときの 2 乗の期待値): $X\sim\mathcal{N}(0,\sigma^2)$ とすると、式 $(2)$ が成り立つ。
$$
\mathbb{E}\left[\operatorname{GELU}(X)^2\right]
= \sigma^2
\left[
\frac{1}{4} + \frac{1}{2\pi}
\sin^{-1}\left(\frac{\sigma^2}{1+\sigma^2}\right) + \frac{\sigma^2}
{\pi(1+\sigma^2)\sqrt{1+2\sigma^2}}
\right]
\tag{2}
$$
命題 1 の証明: $Z=X/\sigma\sim\mathcal{N}(0,1)$ とし、$\phi(z)$ を標準正規分布の確率密度関数とする。
式 $(3)$ の積分を部分積分すると式 $(4)$ となる。$\phi'(z) = -z\phi(z)$ であることを用いた。
式 $(4)$ の右辺第 1 項は、独立な標準正規確率変数 $U,V,Z$ で式 $(5)$ のように評価できる。
$(U-\sigma Z, V-\sigma Z)$ が平均 $0$，分散 $1+\sigma^2$，共分散 $\sigma^2$，相関係数 $\sigma^2/(1+\sigma^2)$ の 2 変量正規分布にしたがうことと、Bivariate Normal Distribution -- from Wolfram MathWorld の (69) を用いた。
式 $(4)$ の右辺第 2 項の積分は式 $(6)$ のように評価できる。部分積分とガウス積分 $\int_{-\infty}^{\infty}e^{-az^2/2}dz = \sqrt{2\pi/a}$ を用いた。
式 $(5)$ と式 $(6)$ を式 $(4)$ に代入し、さらに式 $(3)$ に代入すると、式 $(2)$ が得られる。
$$
\mathbb{E}\left[\operatorname{GELU}(X)^2\right]
= \sigma^2\mathbb{E}\left[Z^2\Phi(\sigma Z)^2\right]
= \sigma^2\int_{-\infty}^{\infty}
z^2\Phi(\sigma z)^2\phi(z)dz
\tag{3}
$$
\begin{align}
\int_{-\infty}^{\infty} z^2\Phi(\sigma z)^2\phi(z)\,dz
&= \int_{-\infty}^{\infty} \left[z\Phi(\sigma z)^2\right] z\phi(z) \,dz \\
&= -\int_{-\infty}^{\infty} \left[z\Phi(\sigma z)^2\right]\phi'(z)\,dz \\
&= \left[-z\Phi(\sigma z)^2\phi(z)\right]_{-\infty}^{\infty}
+ \int_{-\infty}^{\infty}\phi(z)\,\frac{d}{dz}\!\left[z\Phi(\sigma z)^2\right]dz \\
&= \int_{-\infty}^{\infty}\phi(z)\left[\Phi(\sigma z)^2 + 2\sigma z\,\Phi(\sigma z)\phi(\sigma z)\right]dz \\
&= \int_{-\infty}^{\infty}\Phi(\sigma z)^2\phi(z)\,dz
+ 2\sigma\int_{-\infty}^{\infty} z\,\Phi(\sigma z)\phi(\sigma z)\phi(z)\,dz \\
&\quad \tag{4}
\end{align}
\begin{align}
\int_{-\infty}^{\infty}\Phi(\sigma z)^2\phi(z)\,dz
&= \int_{-\infty}^{\infty}\Pr(U\leqq\sigma z)\Pr(V\leqq\sigma z)\phi(z)\,dz \\
&= \int_{-\infty}^{\infty}\Pr(U\leqq\sigma z,\ V\leqq\sigma z)\phi(z)\,dz \\
&= \Pr(U\leqq\sigma Z,\ V\leqq\sigma Z) \\
&= \Pr(U-\sigma Z\leqq 0,\ V-\sigma Z\leqq 0) \\
&= \frac{1}{4} + \frac{1}{2\pi}
\sin^{-1}\left(\frac{\sigma^2}{1+\sigma^2}\right) \\
&\quad \tag{5}
\end{align}
\begin{align}
\int_{-\infty}^{\infty} z\,\Phi(\sigma z)\phi(\sigma z)\phi(z)\,dz
&= \frac{1}{2\pi}\int_{-\infty}^{\infty}
z\,\Phi(\sigma z)e^{-(1+\sigma^2)z^2/2}\,dz \\
&= -\frac{1}{2\pi(1+\sigma^2)}\int_{-\infty}^{\infty}
\Phi(\sigma z)\frac{d}{dz}\!\left[e^{-(1+\sigma^2)z^2/2}\right]dz \\
&= -\frac{1}{2\pi(1+\sigma^2)}
\left[\Phi(\sigma z)e^{-(1+\sigma^2)z^2/2}\right]_{-\infty}^{\infty} \\
& \quad \; + \frac{\sigma}{2\pi(1+\sigma^2)}\int_{-\infty}^{\infty}
\phi(\sigma z)e^{-(1+\sigma^2)z^2/2}\,dz \\
&= \frac{\sigma}{2\pi(1+\sigma^2)}\cdot\frac{1}{\sqrt{2\pi}}
\int_{-\infty}^{\infty}e^{-(1+2\sigma^2)z^2/2}\,dz \\
&= \frac{\sigma}
{2\pi(1+\sigma^2)\sqrt{1+2\sigma^2}} \\
&\quad \tag{6}
\end{align}