#1. 線形代数
1.1. ベクトル・スカラー
任意の$n$ $\in$ $\mathbb{N}$ に対して、$n$個の数$x_{i}$ (ここで$i$=1,2,$\cdots$,$n$)を以下のように縦に並べた$\boldsymbol{x}$を$n$次元ベクトルという。これに対して１成分しかないような１次元の値をスカラーという。
\boldsymbol{x}=\left(
\begin{array}{c}
x_{1} \\
x_{2}\\
\vdots \\
x_{n}
\end{array}
\right)
1.2. 行列
任意の$m$,$n$ $\in$ $\mathbb{N}$ に対して、$mn$個の数$a_{i,j}$ (ここで$i$=1,2,$\cdots$,$m$, $j$=1,2,$\cdots$,$n$)を以下のように並べた$A$を$m×n$行列という。
A=\left(
\begin{array}{cccc}
a_{11} & a_{12} & \cdots & a_{1n}\\
a_{21} & a_{22} &\cdots & a_{2n}\\
\vdots & \vdots &\ddots & \vdots \\
a_{m1} & a_{m2} & \cdots & a_{mn}
\end{array}
\right)
1.3. 単位行列
以下のように対角成分がすべて１でほかの成分が０の正方行列$E$を単位行列という。
E=\left(
\begin{array}{cccc}
1 & 0 & \cdots & 0\\
0 & 1 &\cdots & 0\\
\vdots & \vdots &\ddots & \vdots \\
0 & 0 & \cdots & 1
\end{array}
\right)
1.4. 逆行列
ある正方行列$A$に対して、以下のように$A$との積が単位行列$E$となるような行列$A^{-1}$を逆行列という。逆数の概念を行列に拡張したものであるため$A^{-1}$という表現が用いられる。
AA^{-1} = A^{-1}A = E
1.5. 行列式
行列式は逆行列の存在性を示す際に扱われ、ここでは厳密な定義は省略するが、正方行列$A$に対する行列式は$\det{A}$や$|A|$と表記がよく用いらる。計算方法として代表的なものとして余因子展開がある。2次正方行列の行列式と3次正方行列の行列式は以下のような形になることが知られている。
\det{\left(
\begin{array}{cc}
a_{11} & a_{12}\\
a_{21} & a_{22}
\end{array}
\right)}
=a_{11}a_{22} - a_{12}a_{21}
\begin{equation*}
\begin{split}
\det{\left(
\begin{array}{cc}
a_{11} & a_{12}& a_{13}\\
a_{21} & a_{22}& a_{23}\\
a_{31} & a_{32}& a_{33}
\end{array}
\right)}
&=a_{11}a_{22}a_{33} +a_{12}a_{23}a_{31} +a_{13}a_{21}a_{32} \\
&\quad-a_{11}a_{23}a_{32} - a_{12}a_{21}a_{33} - a_{13}a_{22}a_{31}
\end{split}
\end{equation*}
1.6. 固有値・固有ベクトル
正方行列$A$に対して以下を満たすスカラー$λ$を固有値、ベクトル$\boldsymbol{v}$($\neq\boldsymbol{0}$)を固有ベクトルという。
A\boldsymbol{v} = λ\boldsymbol{v}
1.7. 固有値分解
ここでは$n$次正方行列$A$の固有値・固有ベクトルの存在を仮定する。
$n$次正方行列$A$の固有値$\lambda_{1}$, $\cdots$ ,$\lambda_{n}$を対角成分に持つ以下の対角行列(他の成分は0)
\Lambda=\left(
\begin{array}{cccc}
\lambda_{1} & & & \\
& \lambda_{2} & & \\
& &\ddots & \\
& & & \lambda_{n}
\end{array}
\right)
と対応する固有ベクトルを並べた以下の行列
V=\left(
\begin{array}{cccc}
\boldsymbol{v}_{1} & \boldsymbol{v}_{2} & \cdots & \boldsymbol{v}_{n}
\end{array}
\right)
に対して、以下が成り立つが、これを行列$A$の固有値分解という。
A=V\Lambda V^{-1}
1.8. 特異値・特異ベクトル
$m×n$行列$M$（$m≧n$）に対して、以下を満たす非負の実数$\sigma$を特異値、単位ベクトル$\boldsymbol{u}$を左特異ベクトル、$\boldsymbol{v}$を右特異ベクトルという。ここで$M^{T}$は$M$の転置行列である。
M\boldsymbol{u} = \sigma\boldsymbol{u} \\
M^{T}\boldsymbol{v} = \sigma\boldsymbol{v}
1.9. 特異値分解
ここでは$m×n$行列$M$（$m≧n$、$rankM$=$r$）の特異値・特異ベクトルの存在を仮定する。
行列$M$の特異値$\sigma_{1}$, $\cdots$ ,$\sigma_{r}$を対角成分に持つ以下の対角行列(他の成分は0)
\Sigma=\left(
\begin{array}{cccc}
\sigma_{1} & & & \\
& \sigma_{2} & & \\
& &\ddots & \\
& & & \sigma_{r}
\end{array}
\right)
と対応する左特異ベクトルを並べた以下の行列
U=\left(
\begin{array}{cccc}
\boldsymbol{u}_{1} & \boldsymbol{u}_{2} & \cdots & \boldsymbol{u}_{r}
\end{array}
\right)
および、右特異ベクトルを並べた以下の行列
V=\left(
\begin{array}{cccc}
\boldsymbol{v}_{1} & \boldsymbol{v}_{2} & \cdots & \boldsymbol{v}_{r}
\end{array}
\right)
に対して、以下が成り立つが、これを行列$M$の特異値分解という。
M=U\Sigma V^{T}
#2. 確率・統計
##2.1. 確率
有限個の根元事象からなる標本空間$U$をもつ試行において、どの根元事象も同様に確からしく起こるものとする。このとき、この試行の事象$A$について、
P(A)=\frac{n(A)}{n(U)}
を事象$A$の確率という。ただし、$n(U)$、$n(A)$はそれぞれ$U$と$A$に含まれている根元事象の個数を表す。
##2.2. 条件付き確率
事象$B$が起こったという条件のもとで、事象$A$が起こる確率を$P(A|B)$で表し、
P(A|B)=\frac{P(A \cap B)}{P(B)}
で定義する。ただし$P(B)≠0$。これを事象$B$のもとでの事象$A$の条件付き確率という。
##2.3. 独立な事象の同時確率
事象$A$、$B$について、
P(A \cap B)=P(A)P(B)
が成り立つとき、$A$と$B$は独立であるという。
##2.4. ベイズの定理
$U$を標本空間、$B_{1}$、$B_{2}$を$U$の事象とし、$U=B_{1} \cup B_{2}$かつ$B_{1} \cap B_{2} = \phi$と仮定する。このとき、事象$A$について以下の式が成立し、これをベイズの定理という。
P(B_{1}|A)=\frac{P(A|B_{1})P(B_{1})}{P(A|B_{1})P(B_{1})+P(A|B_{2})P(B_{2})}
ただし、$P(A)≠0$、$P(B_{1})≠0$、$P(B_{2})≠0$とする。
##2.5. 確率変数
試行の根元事象により値が定まる変数$X$を確率変数といい、特に値を連続的には取らない確率変数を離散的な確率変数、連続的に値を取る確率変数を連続的な確率変数という。
##2.6. 確率分布
2.6.1. 離散的な確率分布
離散的な確率変数$X$について、
f(x_{i})=P(X=x_{i})\ \ \ (i=1,2,\cdots,n)
により定まる関数$f$を確率変数$X$の確率分布という。
2.6.2. 連続的な確率分布
連続的な確率変数$X$が、任意の実数$a$、$b$（$a<b$）に対して、
P(a<X≦b)=\int_a^b f(x)dx
となるような関数$f$を持つとき、$f$を確率変数$X$の確率密度関数といい、$X$は確率分布$f$に従うという。
2.7. 期待値
2.7.1. 離散的な確率変数の期待値
離散的な確率変数$X$の確率分布を$f$とするとき、
E[X]=\sum_{i=1}^{n}x_{i}f(x_{i})
を$X$の期待値という。
2.7.2. 連続的な確率変数の期待値
連続的な確率変数$X$の確率密度関数を$f$とするとき、
E[X]=\int_{-\infty}^{\infty}xf(x)dx
を$X$の期待値という。
2.8. 分散と標準偏差
確率変数$X$に対して、
V[X]=E[(X-E(X))^{2}]
を$X$の分散といい、以下が成立することが知られている。
V[X]=E[X^{2}]-E[X]^{2}
また、分散の平方根
\sigma=\sqrt{V[X]}
を$X$の標準偏差という。
##2.9. 共分散
２つの確率変数$X$、$Y$に対して、
C[X,Y]=E[(X-E[X])(Y-E[Y])]
を$X$と$Y$の共分散といい、以下が成り立つことが知られている。
C[X,Y]=E[XY]-E[X]E[Y]
2.10. 様々な確率分布
2.10.1. ベルヌーイ分布
離散的な確率変数$X$が確率分布
f(x)=p^{x}q^{1-x} \ \ \ (p>0, q>0, p+q=1, x=0,1)
に従うとき、$X$はベルヌーイ分布に従うという。
2.10.2. マルチヌーイ分布
離散的な確率変数$X$が確率分布
f(x)=\prod_{i=1}^{K}p_{i}^{[x=i]} \ \ \ (p_{i}>0 for i = 1, \cdots, n, \sum_{i=1}^{K}p_{i}=1, x=1,2,\cdots,K)
に従うとき、$X$はマルチヌーイ分布に従うという。
ここで、$[x=i]$は$x=i$のとき1をとり、そうでないとき0をとる。
2.10.3. 二項分布
離散的な確率変数$X$が確率分布
f(x)={}_nC_xp^{x}q^{1-x} \ \ \ (p>0, q>0, p+q=1, x=0,1,2,\cdots,n)
に従うとき、$X$は二項分布$B(n,p)$に従うという。ベルヌーイ分布の場合は$B(1,p)$である。
2.10.4. ガウス分布
連続的な確率変数$X$が確率密度関数
f(x)=\frac{1}{\sqrt{2\pi\sigma}}\exp(-\frac{(x-\mu)^2}{2\sigma^{2}})
をもつとき、$X$は正規分布$N(\mu,\sigma^{2})$に従うという。
#3. 情報理論
3.1. 自己情報量
事象$A$の起こる確率が$P(A)$であるとき、事象$A$が起こることの自己情報量は以下によって定義される。
I(A)=-log_{2}P(A)
##3.2. シャノンエントロピー
離散的な確率変数$X$において、$p(x)=P(X=x)$としたとき、以下の式を$X$のシャノンエントロピーという。
H(X)=-\sum_{x}p(x)log_{2}p(x)
また、連続的な確率変数$X$の場合、確率密度関数$p(x)$をもつとすると、シャノンエントロピーは以下のように定義される。
H(X)=-\int_{}^{}p(x)log_{2}p(x)dx
##3.3. カルバック・ライブラーダイバージェンス
$P$と$Q$を確率変数$X$の確率とする。
$X$が離散型の場合、$p(x)=P(X=x)$、$q(x)=Q(X=x)$としたとき、カルバック・ライブラーダイバージェンスは以下のように定義される。
D_{KL}(P|Q)=\sum_{x}p(x)log_{2}\frac{p(x)}{q(x)}
$X$が連続型の場合、$P$のもとでの確率密度関数を$p(x)$、$Q$のもとでの確率密度関数を$q(x)$としたとき、カルバック・ライブラーダイバージェンスは以下のように定義される。
D_{KL}(P|Q)=\int_{}^{}p(x)log_{2}\frac{p(x)}{q(x)}dx
##3.4. 交差エントロピー
$P$と$Q$を確率変数$X$の確率とする。
$X$が離散型の場合、$p(x)=P(X=x)$、$q(x)=Q(X=x)$としたとき、交差エントロピーは以下のように定義される。
H(P,Q)=\sum_{x}p(x)log_{2}q(x)
$X$が連続型の場合、$P$のもとでの確率密度関数を$p(x)$、$Q$のもとでの確率密度関数を$q(x)$としたとき、交差エントロピーは以下のように定義される。
H(P,Q)=\int_{}^{}p(x)log_{2}q(x)dx
$P$のシャノンエントロピーを$H(P)$とすると、交差エントロピーはカルバック・ライブラーダイバージェンスを用いて以下のように表現できる。
H(P,Q)=H(P)+D_{KL}(P|Q)