【E資格学習レポート】応用数学

#背景
日本ディープラーニング協会の資格試験（E資格）受験資格を得るためにラビット・チャレンジの講座プログラムを受けることにした。
当該講座を受講する時、科目ごとにレポートを作成しWebに投稿する必要があるためQiitaで作成することとした。
個人的には各科目の全要点などを記述よりも自分が難しいと思うところまたは理解不足なポイントをまとめる形にしたいと考えている。
ちなみにラビット・チャレンジについては以下から参考できる

#応用数学
##１． 線形代数
線形代数の中に自分がややこしいと思うところは固有値分解と特異値分解２つにある。

###1) 固有値分解
ある行列Aに対して，以下のような式が成り立つような，特殊なベクトル𝑥と，右辺の係数λがある時、

Ax=λx

以下のような分解することを固有値分解という。

A=VSV^{-1}

この変換によって行列の累乗の計算が容易になる等の利点がある。

###2) 特異値分解
正方行列以外の”固有値分解”が特異値分解という。

AA^T=USS^TU^{-1}\\
A^TA=VS^TSV^{-1}

このような特殊な単位ベクトルがあるならば特異値分解できる。

A=USV^{-1}

##2. 確率・統計
以下３つのポイントをレポートとして記述する。
・条件付き確率
・ベイズ則
・ベルヌーイ分布

###1) 条件付き確率
ある事象 X = x が与えられた下で，Y = y となる確率

\begin{align}
P(Y=y|X=x)&=\frac{P(Y=y,X=x)}{P(X=x)} 
\end{align}

以下の式で表記することが多い

P(A|B)=\frac{P(A∩B)}{P(B)} 

###2) ベイズ則
上記の式より

P(A∩B)=P(B)P(A|B)=P(A)P(B|A) 

したがってベイズ則と呼ばれる下式が成立する。

P(A)P(B|A)=P(B)P(A|B)

###3) ベルヌーイ分布
表か裏のように２種類のみの結果しか得られないような実験の結果を0と1で表す時、
確率pで1を、確率 q=1−p で 0 をとる離散確率分布である。

P(x|μ)=μx(1−μ)1−x

##3. 情報理論
この章では以下の概念が分かりづらくて、レポートとして記述する。
・シャノンエントロピー
・交差エントロピー

###1) シャノンエントロピー
事象ｘが起こる確実をP(x)とし、その情報量の期待値をシャノンエントロピー（平均情報量）という。

H(x)=-∑P(x)logP(x)

###2) 交差エントロピー
交差エントロピーは２つの確率分布の間に定義される尺度である、確率分布P(x)とQ(x)の交差エントロピーは以下のように定義される。

H(P,Q)=−∑P(x)logQ(x)

交差エントロピーは機械学習（２値分類、多値分類）における予測の誤差として使われることが多い。
機械学習による予測が正解に似ているほど、PとQの交差エントロピーが小さくなると考えられる。

#参考書籍
人工知能の応用数学を学習する場合は以下の書籍を参考として挙げる。
個人的は結構分かりやすく、数学の基礎から人工知能にどのように使われるまで記述されてとても参考になった。