第１章 線形代数
高校程度の内容の確認。基本的な知識で特異事項はないが、必要に応じて再度確認
・スカラー、ベクトル、行列
・連立方程式の行列での表現
・行列の演算
・行基本変形の行列の積での表現
・逆行列（Inverse matrix）と単位行列（Identity matrix）
逆行列の求め方：ガウス掃き出し法
逆行列が存在しない場合（面積・体積０の場合）
・行列式（Determinant）
行列式の線形性
＊行を入れ替えると符号が入れ替わる
行列式の求め方
\begin{vmatrix}
a & b \\
c & d \\
\end{vmatrix}
=ad-bc
＊３×３以上に増えても変換して出せる
・固有値と固有ベクトル
A\vec{x}=\lambda\vec{x}
上記の時、$\vec{x}$と$\lambda$を固有ベクトル、固有値という。
・固有値の求め方
$|A-\lambda I|=0$ を解くことで求められる。（なぜなら$\vec{x}$は$\vec{0}$ではない）
・固有値分解
固有値を対角線上に並べた行列（それ以外の成分は0）$\Lambda$と、固有ベクトルを並べた行列$V$で正方行列を次のように変形できる。
$$A=V\Lambda V^{-1}$$
・特異値分解
正方行列以外の行列を固有値分解のようなことをする。
$$M=USV^{-1}$$ （$U$、$V$は直交行列）
・特異値の求め方
$MM^{-1}$と$M^{-1}M$を固有値分解する。
・特異値分解の利用例
画像データを行列として特異値分解し、成分の小さな特異値を取り除いても概ね同じような画像に見える。
画像の大枠を変えずに画像の圧縮ができる。
また特異値の大きい成分を比較することで、画像の類似性を判断することができるため、機械学習の前処理で利用できる。
第２章 統計学
こちらも必要に応じて確認する程度
・集合
和集合：$A\cup B$ 共通部分：$A\cap B$
・確率
条件付き確率：$P(B|A)=\frac{P(A\cap B)}{P(A)}$
ベイズ則：$P(A|B)=\frac{P(A)P(B|A)}{P(B)}$
・記述統計：揃っているデータを整理
推計統計：標本から母集団を予想
・確率変数と確率分布
・期待値
離散値：$E(f(X))=\sum_{k=1}^n P(x_k)f(x_k)$
連続値：$E(f(X))=\int_{}P(X=x)f(X=x)dx$
・分散
$V(f(X))=E\left( \Big(f(X=x)-E(f(x))\Big)^2\right)=E(f(X)^2)-\Big(E(f(X)) \Big)^2$
・共分散
２つのデータの相関度：正だと正の相関、負だと負の相関、0だと無関係
$Cov(f(X),g(Y))=E\bigg( \Big(f(X=x)-E(f(X)) \Big) \Big( g(Y=y)-E(g(Y)) \Big) \bigg)\
=E\Big(f(X=x)g(Y=y) \Big)-E\Big(f(X=x)\Big)E\Big(g(Y=y)\Big)$
・標準偏差：分散の平方根
・代表的な分布（数式いらない・・・？）
ベルヌーイ分布：コインの裏表のような２クラスのどちらかの分布
マルチヌーイ（カテゴリカル）分布：サイコロのような多クラスの分布
二項分布：ベルヌーイ分布の多試行版
ガウス分布：山型の分布。データがわからないときはとりあえずこの分布と仮定
・推定：標本から母集団の特性（平均値等のパラメータ）を推測
・推定量：計算方法など関数のこと
推定値：実際に出た数値 $hat{\theta}
・標本分散：サンプル数が少ないと本来の分散より小さくなる
$$\frac{1}{n}\sum_{i=1}^n (x_i-\bar{x})^2$$
不変分散：サンプル数に応じて補正
$$\frac{n}{n-1}\times\frac{1}{n}\sum_{i=1}^n (x_i-\bar{x})^2=\frac{1}{n-1}\sum_{i=1}^n (x_i-\bar{x})^2$$
第３章 情報科学
感覚的につかみにくいので繰り返し確認が必要
・自己情報量
$$-\log P(x)=\log W(x)$$
対数の底が2：単位はビット(bit) 対数の底がe：単位は(nat)
・シャノンエントロピー：自己情報量の期待値
$$H(x)=E(I(x))=-E(\log(P(x)))=-\sum_{}P(x)\log P(x)$$
・カルバック・ライブラー ダイバージェンス：二つの確率分布の類似性を表す（＊共分散でも似た話あった）
$$D_{KL}(P, ||Q)=E_{X\sim P}\left[\log\frac{P(x)}{Q(x)}\right]=E_{X\sim P}\left[\log P(x)-\log Q(x) \right]$$
・交差エントロピー
$$H(P,Q)=-\sum_{x}P(x)\log Q(x)$$