はじめに
本記事は、日本ディープラーニング協会のDeep Learning資格試験（E資格）の受験に必要な、協会認定の講座プログラムのひとつであるラビットチャレンジのレポート記事（応用数学編）となります。
線形代数
スカラーとベクトル
スカラーはいわゆる普通の数、ベクトルは「大きさ」と「向き」を持ち、スカラーのセットで表現される。行列
スカラーを表にしたもの、ベクトルを並べたもの。ベクトルの変換に利用される。
行列の積は少々不思議な計算方法となっているが、これは連立方程式の研究から生まれたとのこと。固有値と固有ベクトル
ある行列Aに対して、以下のような式が成り立つような、特殊なベクトル$\vec{x}$と、右辺の係数λがある。
$$A\vec{x} = λ\vec{x}$$
行列Aとその特殊なベクトル$\vec{x}$の積は、ただのスカラーの数λとその特殊なベクトル$\vec{x}$との積と同じ値になる。
この特殊なベクトル$\vec{x}$とその係数λを、行列Aに対する固有ベクトル、固有値という。固有値分解
ある実数を正方形にならべて作られた行列A（Aは正方行列）が固有値と固有ベクトルを持つとする。この固有値を対角線上に並べた行列Λ（Λは対角行列：対角線上以外の成分は0）
Λ =
\begin{pmatrix}
λ_1 & \\
& λ_2 \\
& & \ddots
\end{pmatrix}
と、それに対応する固有ベクトルを並べた行列V（Vは正則行列：掛け合わせると単位行列になる）
V =
\begin{pmatrix}
\vec{v_1} & \vec{v_1} & \cdots
\end{pmatrix}
を用意した時、それらは
$$AV = VΛ$$
と関係付けられる。したがって
$$A = VΛV^{-1}$$
と変形できる。このように正方形の行列を3つの行列の積に変換することを固有値分解という。（固有値分解のメリットは後述。）
- 特異値分解
固有値分解と似た分解手法に、特異値分解がある。特異値分解を述べるにあたり、固有値分解の制限に関して分かりやすく説明していた記事があったため紹介する。
それは「Aが正方行列でないと適用できない」という制限です。この制限は結構強いです。なぜでしょう。それは正方形の行列は中々手に入らないからです。エクセルのデータが正方であることはほとんどないですよね。行と列の数が揃っているというのは結構珍しいのです。
参考：分解すると見える世界 ー特異値分解ー
上記記事で述べられている通り、仕事をしていく中でエクセルでデータを扱うことは多々あるが、行数と列数が一致していることはあまりないなと感覚的に理解できた。
さて、本題に戻るが、特異値分解とは以下のような特殊な単位ベクトルが存在する場合に、分解を行うことができるというものだ。
$$A = USV^{-1}$$
なお、Aは任意のm×n行列、U、Vはそれぞれm×m、n×nの直交行列、Sはm×nの対角行列。
- 固有値分解・特異値分解のメリット
固有値分解・特異値分解を行った結果、ある行列Aは、固有値の数分の足し算で表現できることが分かった。つまり、元データから値の小さい固有値成分を取り除いていくことで、データ量を削減できる。これが分解のメリットだと推察する。
確率・統計
- 条件付き確率・ベイズの定理
ある事象が与えられたもとでの確率を条件付き確率といい、以下のベイズの定理が成り立つ。
P(A|B) = \frac{P(B|A)P(A)}{P(B)}
確率変数/確率分布/期待値
確率変数は、事象と結び付けられた数値。確率分布は、事象の発生する確率の分布。 期待値は、その分布における確率変数の平均値または「ありえそうな値」を指す。分散と共分散
分散は、データの散らばり具合。共分散は、2つのデータ系統の傾向の違い。それぞれ以下の式で表せる。
分散Var(f) = E((f_{(X=x)}-E_{(f)})^2) = E(f^2_{(X=x)}) - (E_{(f)})^2
共分散Cov(f,g) = E((f_{(X=x)}-E_{(f)})(g_{(Y=y)}-E(g)) = E(fg) - E(f)E(g)
- 様々な確率分布
ベルヌーイ分布やマルチヌーイ（カテゴリカル）分布などがある。
情報理論
自己情報量は、以下の式で表せる。対数の底が2のとき、単位はbit、対数の底がネイピア数のとき、単位はnat。
I(x) = -log(P(x))
自己情報量の期待値をシャノンエントロピーという。また、同じ事象・確率変数における異なる確率分布の違いを表した式をKLダイバージェンス、その一部を取り出したものを交差エントロピーという。
おわりに
はじめての投稿となります。記載や内容の誤り等ございましたらご指摘いただけますと幸いです。