長い間、正確に理解できていなかったので、メモとして残しておきます。
確率変数 $ X $ が正規分布 $ N(\mu, \sigma_X^2) $ に従う場合、その確率密度関数（PDF）は次の式で表されます：
$$
f(x) = \frac{1}{\sqrt{2\pi \sigma_X^2}} e^{-\frac{(x-\mu_X)^2}{2\sigma_X^2}}
$$
ここで、
- $ \mu_X $ は分布の平均（期待値）です。
- $ \sigma_X $ は標準偏差で、$ \sigma_X^2 $ は分布の分散です。
この関数は $ x $ の値に対して確率密度を与え、$ \mu_X $ を中心に対称なベル形のカーブを描きます。
この際に確率変数$X$は独立です。
どうように、確率変数 $ Y $ が正規分布 $ N(\mu, \sigma_X^2) $ に従う場合、その確率密度関数（PDF）は次の式で表されます：
$$
f(y) = \frac{1}{\sqrt{2\pi \sigma_Y^2}} e^{-\frac{(y-\mu_Y)^2}{2\sigma_Y^2}}
$$
ここで、
- $ \mu_Y $ は分布の平均（期待値）です。
- $ \sigma_Y $ は標準偏差で、$ \sigma_Y^2 $ は分布の分散です。
この関数は $ Y $ の値に対して確率密度を与え、$ \mu_Y $ を中心に対称なベル形のカーブを描きます。
この際に確率変数$Y$は独立です。
この場合の同時確率密度関数は
確率変数 $ X $ と $ Y $ がそれぞれ独立して正規分布 $ N(\mu_X, \sigma_X^2) $ と $ N(\mu_Y, \sigma_Y^2) $ に従う場合、それぞれの確率密度関数は以下のようになります：
$$
f_X(x) = \frac{1}{\sqrt{2\pi \sigma_X^2}} e^{-\frac{(x-\mu_X)^2}{2\sigma_X^2}}
$$
$$
f_Y(y) = \frac{1}{\sqrt{2\pi \sigma_Y^2}} e^{-\frac{(y-\mu_Y)^2}{2\sigma_Y^2}}
$$
これらが独立しているとき、$ X $ と $ Y $ の同時確率密度関数は両者の密度関数の積となります。この場合、同時密度関数 $ f(x, y) $ は次のように表されます：
$$
f(x, y) = f_X(x) \cdot f_Y(y) = \left(\frac{1}{\sqrt{2\pi \sigma_X^2}} e^{-\frac{(x-\mu_X)^2}{2\sigma_X^2}}\right) \cdot \left(\frac{1}{\sqrt{2\pi \sigma_Y^2}} e^{-\frac{(y-\mu_Y)^2}{2\sigma_Y^2}}\right)
$$
これを展開すると、
$$
f(x, y) = \frac{1}{2\pi \sigma_X \sigma_Y} e^{-\left(\frac{(x-\mu_X)^2}{2\sigma_X^2} + \frac{(y-\mu_Y)^2}{2\sigma_Y^2}\right)}
$$
となります。これにより、$ x $ と $ y $ の値に対する同時確率密度が計算されます。
確率変数 $ X $ と $ Y $ が相関関係にある場合、通常これらは多変量正規分布、特に二変量正規分布を用いてモデル化されます。二変量正規分布の同時確率密度関数は次のように表されます：
$$
f(x, y) = \frac{1}{2\pi \sigma_X \sigma_Y \sqrt{1-\rho^2}} \exp\left(-\frac{1}{2(1-\rho^2)}\left[\frac{(x-\mu_X)^2}{\sigma_X^2} - 2\rho\frac{(x-\mu_X)(y-\mu_Y)}{\sigma_X \sigma_Y} + \frac{(y-\mu_Y)^2}{\sigma_Y^2}\right]\right)
$$
ここで、
- $ \mu_X $ と $ \mu_Y $ はそれぞれ $ X $ と $ Y $ の平均です。
- $ \sigma_X $ と $ \sigma_Y $ はそれぞれ $ X $ と $ Y $ の標準偏差です。
- $ \rho $ は $ X $ と $ Y $ の間の相関係数で、値は $-1$ から $1$ の範囲です。
この同時密度関数は、$ X $ と $ Y $ の間にどの程度の相関が存在するかを示す $ \rho $ を含んでおり、$ \rho = 0 $ の場合は $ X $ と $ Y $ が独立であるとして、上述の独立な場合の同時密度関数に帰着します。相関係数 $ \rho $ が $ 0 $ 以外の場合、これら二つの変数間には直線的な関係があると想定され、その強さと方向が $ \rho $ によって調整されます。
つぎに確率変数$X_1,\cdots,X_n$を考えます。どちらも同じ確率密度関数から取られています。この場合には$X$は$X$に関して独立です。また$Y$も$Y$に関して同様です。しかし、確率変数$X$と$Y$の間には相関があるので、独立ではありません。