JDLA E資格検定メモ 応用数学
0. 初めに
E資格検定の応用数学パートについてメモします。
1a. 線形代数（行列）
- 「線形代数学」は、「幾何学」や「方程式の取り扱い」が発展した形
- 「数」のバリエーション
- スカラー
- 普通の数、四則演算が可能なもの
- ベクトル
- 大きさと向きをセットにしたもの、スカラーのセットで表現される
- 行列
- スカラーを表にしたもの＝ベクトルを並べたもの
- ベクトルを自由に変換したいというモチベーションから生まれた（ベクトル×スカラーでは同じ方向性の変換しかできない）
- 連立方程式をシンプルに表現できる
- スカラー
- 行列の積
- 行列と行列をかけることで新しい行列を作ることができる
- 連立方程式の解くための行列の操作
- 行基本変形（以下3種類の操作）
- i行目をc倍する
- s行目にt行目のc倍を加える
- p行目とq行目を入れ替える
- 行基本変形（以下3種類の操作）
- 逆行列と単位行列
- 逆行列
- 行列に対して「逆数」のような働きをするもの
- $X^{-1}$ と表記する
- 単位行列
- $I = AA^{-1} = A^{-1}A$
- 逆行列の求め方
- ガウスの掃き出し法により行う
- 逆行列が存在しない場合
- 解がない、解が1組に定まらないタイプの連立方程式
- $ad - bc = 0$ ・・・ 平行四辺形の面積が0になるケース
- 逆行列の有無を判別する際に「行列式」を利用できる
- 逆行列
\begin{vmatrix}
a & b \\
c & d
\end{vmatrix}
=
\begin{vmatrix}
\vec{v_1} \\
\vec{v_2}
\end{vmatrix}
=
ad - bc
\begin{vmatrix}
\vec{v_1} \\
\vec{v_2} \\
\vec{v_3}
\end{vmatrix}
=
\begin{vmatrix}
a & b & c \\
d & e & f \\
g & h & i
\end{vmatrix}
=
a
\begin{vmatrix}
e & f \\
h & i
\end{vmatrix}
-d
\begin{vmatrix}
b & c \\
h & i
\end{vmatrix}
+g
\begin{vmatrix}
b & c \\
e & f
\end{vmatrix}
1b. 固有値
- 固有値と固有ベクトル
- $A\vec{x} = \lambda\vec{x}$
- 例) $\begin{pmatrix}1 & 4 \\ 2 & 3\end{pmatrix}\begin{pmatrix}1 \\ 1\end{pmatrix} = \begin{pmatrix}5 \\ 5\end{pmatrix} = 5 \begin{pmatrix}1 \\ 1\end{pmatrix}$
- $固有値\lambda=5$
- $固有値ベクトル（のうちの一つ）\vec{x} = \begin{pmatrix}1 \\ 1\end{pmatrix}$
- 固有値と固有ベクトルの求め方
- $\begin{vmatrix}A - \lambda I\end{vmatrix} = 0$ を満たすと逆行列を持たない。これを計算すればよい。
- 固有値分解
- 行列を別々の行列に分解する
- $AV = V\Lambda \\ AVV^{-1} = V\Lambda V^{-1} \\ A = V\Lambda V^{-1}$
- 特異値分解
- 正方行列以外を固有値分解すること
- 以下のような特殊な単位ベクトルがあるならば特異値分解できる
- $M = USV^{T}$ ※ただしUやVは直行行列（複素数を要素に持つ場合はユリタリ行列）
- 特異値分解の利用例
- 画像の圧縮に利用できる
2a. 確率
- 集合や要素の記述
- 集合$S$は、$a,b,c,d,e,f,g$でできている
- $S= \{ a,b,c,d,e,f,g \} $
- 要素$a$や$b$は、集合$S$に含まれる
- $a \in S$
- $b \in S$
- 集合$S$の内部に集合$M=\{c,d,e\}$がある
- $M \subset S$
- 要素$h$は、集合$S$に含まれない
- $h \notin S$
- 集合$S$は、$a,b,c,d,e,f,g$でできている
- 集合同士の演算
- 和集合
- $A \cup B$
- 共通部分
- $A \cap B$
- 絶対補と相対補
- $U \backslash A = \bar A$ ・・・絶対補（全体UnivarsalからAを除外）
- $B \backslash A$ ・・・相対補（BからAB共通部分を除外）
- 和集合
- 確率の種類
- 頻度確率（客観確率）
- 発生する頻度 ・・・測定により客観的に調べられる
- ベイズ確率（主観確率）
- 信念の度合い ・・・測定による調査ができなかったとしても、主観的に確かめていく
- 頻度確率（客観確率）
- 確率の定義
- $P(A) = \frac{n(A)}{n(U)} = \frac{事象Aが起こる数}{すべての事象の数}$
- $P(\bar A)をP(A)を使って表現せよ$
- $P(\bar A) = \frac{n(U)-n(A)}{n(U)} = \frac{n(U)}{n(U)} - \frac{n(A)}{n(U)} = 1 - P(A)$
- $P(A \cap B)$
- $P(A \cap B) = P(A)P(B \mid A) = P(B)P(A \mid B)$
- 条件付確率
- Bの条件下でAが発生する確率
- $P(A|B) = \frac{P(A \cap B)}{P(B)} = \frac{n(A \cap B)}{n(B)}$
- 独立な事象の同時確率
- $P(A \cap B) = P(A)P(B \mid A) = P(A)P(B)$
- AとBのいずれかが発生する確率
- $P(A \cup B) = P(A) + P(B) - P(A \cap B)$
- 例題
- ある街の子どもたちは毎日1/4の確率で飴玉をもらうことができる
- 飴玉をもらうと1/2の確率で笑顔になる
- その街の、笑顔な子どもが飴玉をもらっている確率を求めよ
- ただし、この街の子供たちが笑顔でいる確率は1/3である
- $P(飴玉 \mid 笑顔)$を求める
- $P(飴玉 \cap 笑顔) = P(飴玉)P(笑顔 \mid 飴玉) = P(笑顔)P(飴玉 \mid 笑顔)$ より、
- $P(飴玉 \mid 笑顔) = \frac{P(飴玉)P(笑顔 \mid 飴玉)}{P(笑顔)} \\ = \frac{\frac{1}{4} * \frac{1}{2}}{\frac{1}{3}} = \frac{3}{8}$
- Bの条件下でAが発生する確率
2b. 統計
- 用語整理
- 記述統計 ・・・集団の性質を要約して記述する
- 推測統計 ・・・標本から元の集団（母集団）の性質を推測する
- 確率変数 ・・・事象と結びつけられた数値。事象そのものを指すと解釈する場合も多い
- 確率分布 ・・・事象の発生する確率の分布。離散値であれば表に示せる
- 期待値
- 離散値の場合
- $E(f) = \sum_{k=1}^{n} P(X=x_k)f(X=x_k)$
- 連続値の場合
- $E(f) = \int P(X=x)f(X=x)dx$
- 離散値の場合
- 分散と共分散
- 分散
- データの散らばり具合
- $Var = E(f^2(X=x)) - (E(f))^2$
- 共分散
- 2つのデータ系列の傾向の違い
- $Cov = E(fg)- E(f)E(g) $
- 標準偏差
- 分散はもとの単位と異なってしまっている
- $\sigma = \sqrt{Cov} $
- 分散
- 様々な確率分布
- ベルヌーイ分布
- マルチヌーイ分布
- 二項分布
- ガウス分布
3. 情報学
- 自己情報量
- 情報の珍しさを表す
- 対数の底が2のとき、単位はビット（bit）
- 対数の底がネイピアのeのとき、単位はナット（nat）
- $I(x) = -log(P(x)) = log(W(x))$
- 情報の珍しさを表す
- シャノンエントロピー
- 自己情報量の期待値
- $H(x) = E(I(x)) \\ = -E(log(P(x))) \\ = -\sum (P(x)log(P(x))) $
- カルバック・ライブラー ダイバージェンス
- 同じ事象・確率変数における異なる確率分布P,Qの違いを表す
- Q：事前に想定していた確率、P:後で発覚した確率
- $D_{KL}(P||Q) = \sum_x P(x)(-log(Q(x)))-(-log(P(x))) = \sum_x P(x)log \frac{P(x)}{Q(x)}$
- 交差エントロピー
- KLダイバージェンスの一部分を取り出したもの
- Qについての自己情報量をPの分布で平均している
- $H(P,Q) = H(P) + D_{KL} + D_{KL}(P||Q)$
- $H(P,Q) = -\mathbb{E}_{X～P} logQ(x) = -\sum_x P(x)logQ(x)$