第１章：線形代数
スカラーとベクトル
スカラー：普通の数
ベクトル：大きさに加え向きを持つ
固有値と固有ベクトル：
ある行列Aに対して，以下のような式が成り立つような，特殊なベクトル$\vec{x}$と，右辺の係数λがある。
この特殊なベクトル$\vec{x}$とその係数λを，行列Aに対する固有ベクトル，固有値という。
$$A\vec{x} = λ\vec{x}$$
行列を、固有値と固有ベクトルを使って分解することを固有値分解という。
分解することで行列の累乗計算が容易になる等の利点がある。
第２章：確率・統計
頻度関数とベイズ関数
確率は大きく分けて頻度確率（客観確率）とベイズ確率（主観確率）に分けられる。
条件付確率
ある事象Aがすでに起こっているとしたときに、事象Bが発生する確率
$$P(B|A)=P(B∩A)P(A)$$
AとBが独立事象であるならば
$$P(B∩A)=P(A)P(B)$$
確率変数Xの確率分布
変数Xの取りうる値x1,x2,...,xnに対して、それぞれ確率p1,p2,...,pnのとき、変数Xを確率変数という。また、XからPへの対応関係を、確率変数Xの確率分布という。
$$\sum_{n=1}^k x_ip_i$ $
確率変数が連続値をとる場合
$$∫X(x)p(x)dx$$
分散：データの散らばり具合
$$V(X)=E(X^2)−(E(X))^2$$
共分散：２つのデータ系列の傾向の違い
$$Cov(f,g)=E(fg)−E(f)E(g)$$
標準偏差：
$$σ=\sqrt{V(X)}$$
ベイズの定理：
条件付き確率。ある事象X=Aが与えられたもとでY=Bとなる確率について、以下の定理が成り立つ。
$$P(B | A)=\dfrac{P(A | B)P(B)}{P(A)}$$
ベルヌーイ分布：
確率関数 $P(X=x）=P^x(1-p)^{1-x}$
で与えられ、その期待値は $P$、分散は $p(1-P)$ である
二項分布：
ベルヌーイ分布の多試行版
第３章：情報理論
自己情報量：
ある事象xの発生確率がP(x)であるときの情報量のこと。
事象xが起ることの情報量は次のように定義される。
$$-log_2P(x)$$
エントロピー（平均情報量）：
自己情報量の期待値。
離散確率変数Xにおいて、X＝xとなる確率がP(x)nのとき、確率変数Xのエントロピー は次のように定義される。
$$H(X)=-\sum_{x} p(X）log_2P(x)$$
交差エントロピー：
２つの確率分布p(x),q(x)の交差エントロピーは次のように定義される。
$$H(p,q)=-\sum_{x} p(X）log_2q(x)$$
KLダイバージェンス：
２つの確率分布p(x),q(x)に対して、次のように定義される量のこと。
$$D(p||q)=\sum_{x} p(X）log_2(p(x)/q(x))$$
２つの確率分布p(x),q(x)が全く同じ分布のとき、最小値０をとる。
この記事の参考図書
「機械学習のエッセンス」 加藤公一
「入門線形代数」 三宅敏恒
~Fin~