E資格って何？

日本ディープラーニング協会が実施する試験。
ディープラーニングの理論を理解し、適切な手法を選択して実装する能力があるかが問われる。

受講の動機

対外的にAIエンジニアとして名乗ることが出来る
機械学習の経験はあるが深層学習の経験がないため、概要を理解する

出題範囲

下記３つが出題範囲であり、下に行くにつれて出題の割合が増える（らしい）。

応用数学
機械学習
深層学習

本記事では応用数学について記述する。

応用数学

以下の３つの構成で記述する。
1. 線形代数
2. 確率・統計
3. 情報理論

第１章　線形代数

固有値・固有ベクトル

ある行列$A$に対して以下のような式が成り立つような特殊なベクトル$\vec{x}$と、右辺の係数$\lambda$がある。
$$ A\vec{x} = \lambda \vec{x}$$
この特殊なベクトル$\vec{x}$とその係数$\lambda$を、行列$A$に対する、固有ベクトル、固有値という。

固有値分解

ある実数を正方形にならべて作られた行列$A$が固有値$\lambda_1,\lambda_2,$・・・と固有ベクトル$\vec{v}_1,\vec{v}_2$・・・を持ったとする。この固有値を対角線上に並べた行列（それ以外の成分は０）

\Lambda =
\left(
\begin{matrix}
\lambda_1 &  &  \\
 & \lambda_2 &  \\
 &        &  \ddots
\end{matrix}
\right)

と、それに対応する固有ベクトルを並べた行列

V =
\left(
\begin{matrix}
 &  &  \\
\vec{v}_1 & \vec{v}_2 &  \cdots\\
 &        &  
\end{matrix}
\right)

を用意したとき、それらは
$$AV = V\Lambda$$
と関係付けられる。したがって
$$A = V\Lambda V^{-1}$$
と変形できる。このように正方行列を上記の様な３つの行列の積に変換することを固有値分解という。

固有値分解を行うと何が良いか

行列の累乗の計算が容易になる。

固有値分解の具体例


\left(
\begin{matrix}
1 & 4 \\
2 & 3 \\  
\end{matrix}
\right)

=

\left(
\begin{matrix}
1 & 1 \\
1 & - \frac{1}{2} \\  
\end{matrix}
\right)

\left(
\begin{matrix}
5 & 0 \\
0 & -1 \\  
\end{matrix}
\right)

\left(
\begin{matrix}
\frac{1}{3} & \frac{2}{3} \\
\frac{2}{3} & -\frac{2}{3} \\  
\end{matrix}
\right)

特異値分解

固有値分解は正方行列に限られるが、正方行列以外$(m\times n)$に適用したのが特異値分解である。
正方行列ではない$(m\times n)$行列$M$において、以下の形で分解することを特異値分解という。
$$M =USV^{-1}$$
$U$:各列が $MM^{T}$ の固有ベクトルである行列
$S$:対角成分が $MM^{T}$ の固有値の平方根である行列
$V$:各列が $M^{T}M$ の固有ベクトルである行列

特異値の求め方

1.正方行列ではない$(m\times n)$行列$M$と、その転置行列$M^{T}$の積を求める。
2.正方行列$MM^{T}$を固有値分解する。ここで$U$および$S$が求まる。
3.正方行列$M^{T}M$を固有値分解する。ここで$V^{-1}$が求まる。

第２章　確率・統計

本記事では以下について記載する。
・条件付き確率
・ベイズ則
・ベルヌーイ分布
・マルチヌーイ分布
・二項分布
・ガウス分布

条件付き確率

ある事象$X=x$が与えられた下で、$Y=y$となる確率。
例：雨が降っている条件（$X$）下で、交通事故に遭う確率（$Y$）
$$P(Y=y \mid X=x) =\frac{P(Y=y,X=x)}{P(X=x)}$$

ベイズの定理

上記条件付き確率の右辺の分子を式変形し、以下の式を得る。
$$P(Y=y \mid X=x) =\frac{P(X=x\mid Y=y)P(Y=y)}{P(X=x)}$$
事象の確率という考え方を採用する特徴があり、例えば現在では迷惑メールのふるい分けにも利用されている。

ベルヌーイ分布

確率変数が０と１で表される分布である。
イメージとしてはコイントスがあげられる。

項目	数式
確率質量関数	$P(x\mid\mu)=\mu^{x}(1-\mu)^{1-x}$
期待値	$E(X)=\mu$
分散	$V(X)=\mu(1-\mu)$

マルチヌーイ分布

ベルヌーイ分布の多次元版。一般的にカテゴリカル分布と呼ぶ。
サイコロを転がすイメージ。
$$P(x\mid\mu)=\prod_{k=1}^{n}\mu_k^{x_{k}} $$

二項分布

ベルヌーイ分布の多試行版。

項目	数式
確率質量関数	$P(x\mid\lambda,n)=\frac{n!}{x!(n-x)!}\lambda^{x}(1-\lambda)^{n-x}$
期待値	$E(X)=n\lambda$
分散	$V(X)=n\lambda(1-\lambda)$

ガウス分布

釣鐘型の連続分布。正規分布と呼ばれる。

項目	数式
確率密度関数	$P(x;\mu,\sigma^{2})=\frac{1}{\sqrt{2\pi\sigma^{2}}}e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}}$
期待値	$E(X)=\mu$
分散	$V(X)=\sigma^{2}$

第３章　情報理論

本記事では以下について記載する。
・自己情報量
・シャノンエントロピー

自己情報量

確率 $p(>0)$ で起こる事象を観測したときに得られる（自己）情報量を以下の様に定義する。$$I(x) = −\log(P(x))$$
対数の底が2の単位はbitと呼び、対数の底がeの単位をnatと呼ぶ。

シャノンエントロピー

自己情報量の期待値。
$$H(x) = −E(\log(P(x)))$$

計算の具体例

例1. 2枚のコインを1回投げすべて表が出た事象の情報量は何bitか
$$I(x) = −\log(P(x))=−\log\left(\frac{1}{2}\times\frac{1}{2}\right)=2$$
例2. 10枚のコインを1回投げすべて表が出た事象の情報量は何bitか
$$I(x) = −\log(P(x))=−\log\left(\frac{1}{2}\right)^{10}=10$$

上記の例でわかるように、事象が発生する確率が低いほうが情報量が大きい。

ラビットチャレンジ参照：http://ai999.careers/rabbit/

【E資格】Part1 応用数学