はじめに
現在自分自身が行っているHyperParameters最適化において,評価した座標がどの程度近いのか知ることが重要になる.しかし,各次元の区間を $[0,1]$ に揃えたとき,$n$ 次元の点と点の距離はどの程度離れているべきかわからなければならない.よって,ここでは一般的に適当な2点を取ったときの距離を求めることを考える.
A. 一様分布
まず,一様分布を以下の $f(x)$ によって定義する.
\begin{eqnarray}
f(x)=\left\{ \begin{array}{ll}
1 & (0 \leq x \leq 1) \\
0 & (otherwise) \\
\end{array} \right.
\end{eqnarray}
B. 2つの一様乱数の差の分布
次に2つの一様乱数の差が従う分布を求める.$g(x)$ は $x = a - b$ として,この $x$ が従う確率密度関数であるとする.
$a, b \sim f$ であるとすれば,$a$ もしくは $b$ の値を固定すれば,任意の $x$ におけるもう一方の値が決定する.したがって,$a$ を変数とし,$b$ を消去すれば,以下の式となり,それを解く.
g(x) = \int_{x}^{1 + x}f(a)f(a - x)da \\
\begin{eqnarray}
g(x)=\left\{ \begin{array}{ll}
\int_{x}^{1}f(a)f(a - x)da = 1 - x & (x \geq 0) \\
\int_{0}^{1 + x}f(a)f(a - x)da = 1 + x & (x < 0) \\
\end{array} \right.
\end{eqnarray}
よって,$g(x)$ を積分することで以下のような $G(X \leq x)$ が得られる.
\begin{eqnarray}
G(x) = G(X \leq x)=\left\{ \begin{array}{ll}
1 - \frac{(1 - x)^2}{2} & (x \geq 0) \\
\frac{(1 + x)^2}{2} & (x < 0) \\
\end{array} \right.
\end{eqnarray}
また,この分布の絶対値の期待値は $2\int_{0}^{1}xg(x)dx = \frac{1}{3}$
C. 2つの一様乱数の差の2乗の分布
また,確率変数 $X$ は $g(x)$ に従うものとする.そのときの $X^2$ の分布 $p(x)$ を求めたい.
$P(X^2 \leq x)=P(-\sqrt{x} \leq X \leq \sqrt{x}) = G(-\sqrt{x} \leq X \leq \sqrt{x})=G(\sqrt{x}) - G(-\sqrt{x}) $ となるから,$p(x)=\frac{1}{\sqrt{x}} - 1$ となる.
この分布の絶対値の期待値は $\int_{0}^{1}xp(x)dx = \frac{1}{6}$
応用編
以下,$a_k, b_k \sim f,\ d = \sqrt{\frac{1}{n}\sum_{k = 1}^{n}(a_k - b_k) ^ 2}$ とする.
Bの分布から $n \to 1$ であれば,$d \to \frac{1}{3}$ となることがわかる.一方で,Cの分布から $n \to \infty$ であれば,$d \to \frac{1}{\sqrt{6}}$ に近づくことがわかる.
よって,抽象的ではあるが,これらの値を持って,近いか遠いか判断することになる.
あとがき
一旦,ここでやめます.実際には $n$ に応じた $d$ の対応を知りたいが,現状,パッとわからないので中断.カイ2乗分布と正規分布の関係性の証明に近いようなことをすれば示せるのかもしれない.
p_{n}(x) = \int_{max(x - n + 1,\ 0)}^{min(x,\ 1)}p_{n-1}(x-t)p_1(t)dt
上の式を見る限りつらそうな雰囲気...