#1.線形代数
行列：数値を行と列に配置したもの
A=
\begin{pmatrix}
1 & 2 \\
3 & 4
\end{pmatrix}
A(行,列) = 数値とすれば
A(1,2) = 2 \\
A(2,1) = 3
###特徴を持つ行列
単位行列：対角成分がすべて1でそのほかの成分が0の行列
I =
\left(
\begin{array}{ccccc}
1 & 0 &\cdots & \cdots & 0\\
0 & \ddots & & & \vdots \\
\vdots & & 1 & & \vdots \\
\vdots & & & \ddots & 0 \\
0 & \cdots & \cdots & 0 & 1\\
\end{array}
\right)
逆行列：元の行列に掛けると単位行列に戻る行列 （n×nの正方行列に存在）
A^{-1}A = I\\
AA^{-1} = I
逆行列の求め方-掃き出し法
(A|I) → (I|A^{-1})
となるように様に計算を行う。
行列の計算は以下の行基本変形に従う。
- ある行を定数倍する
- ある行と他の行を入れ替える
- ある行に他の行の定数倍を加える
###行列を利用して連立方程式を解く
\begin{align}
x+2y &= 5 \\
3x+4y &= 11
\end{align}
という連立方程式があるとき、行列に直すと
\begin{pmatrix}
1 & 2 \\
3 & 4
\end{pmatrix}
\begin{pmatrix}
x \\
y
\end{pmatrix}
=
\begin{pmatrix}
5\\
11
\end{pmatrix}
と記述できる。
A =
\begin{pmatrix}
1 & 2 \\
3 & 4
\end{pmatrix}
として、両辺に左側から逆行列を掛けると、
A^{-1}
\begin{pmatrix}
1 & 2 \\
3 & 4
\end{pmatrix}
\begin{pmatrix}
x \\
y
\end{pmatrix}
=
A^{-1}
\begin{pmatrix}
5\\
11
\end{pmatrix}
と書けて、計算すると
\begin{pmatrix}
1 & 0 \\
0 & 1
\end{pmatrix}
\begin{pmatrix}
x \\
y
\end{pmatrix}
=
\begin{pmatrix}
1\\
2
\end{pmatrix}
x = 1, y = 2
が得られる。
#2.確率
確率：物事の「起こりやすさ」を数値で表す。客観確率と主観（ベイズ）確率に分かれる。
定義
P(A) = \frac{n(A)}{n(U)} = \frac{事象Aが起こる数}{すべての事象の数},\quad
0 \leqq P(A) \leqq 1
###条件付き確率
定義：ある事象Bが与えられた下で、Aとなる確率
P(A|B) = \frac{P(A \cap B)}{P(B)} = \frac{n(A \cap B)}{n(B)}
###ベイズの定理
P(B|A) の逆確率である P(A|B) は、「P(B|A) と P(A) の積を P(B) で割る」と求められる。
P(A|B) = \frac{P(B|A)P(A)}{P(B)}
P(A) を事前確率、P(B|A) を尤度、P(A|B) を事後確率という
###独立な事象の同時確率
定義：お互いの発生には因果関係のない事象Aと事象Bが同時に発生する確率
P(A \cap B) = P(A)P(B|A) = P(A)P(B)
#3.統計
記述統計：集団の性質を要約し記述する
推測統計：集団から一部を取り出し元の集団（母集団）の性質を推測する
###期待値
定義：1回の試行で得られる値の平均値
離散型の場合
E(f) = \sum_{k=1}^{n} P(X = x_k )f(X = x_k)\\
P(X):確率,f(X):確率変数
連続型の場合
E(f) = \int P(X = x )f(X = x)dx
###分散
データの散らばり具合を表す
Var(f) = \frac{1}{n}\sum_{i=1}^{n}(x_i - μ)^2\\
n:データの個数,x_i:データの値,μ:平均
###共分散
2つのデータの傾向の違い
COV(f,g) > 0 なら似た傾向\\
COV(f,g) = 0 なら無関係\\
COV(f,g) < 0 なら逆の傾向
###標準偏差
平均値からのばらつき
σ = \sqrt{Var(f)}
#4.推定
母集団を特徴づける母数を統計学的に推測すること
→標本を使って母集団の特徴を推測する
点推定：平均値等を1つの値に推定すること
区間推定：平均値等が存在する範囲を推定すること
###標本平均
母集団から取り出した標本の平均値
サンプル数が大きくなれば母集団の値に近づく（一致性）
サンプル数がいくつでも、その期待値は母集団の値と同様（不偏性）
E(\tilde{\theta} = \theta)
###標本分散
母集団の中から一部を抽出して分散を求めたもの
→一致性〇、不偏性×
###不偏分散
分散の式にn/n-1をかけたもの
→一致性〇、不偏性〇
s^2 = \frac{n}{n-1}×\frac{1}{n}\sum_{i=1}^{n}(x_i - \bar{x})^2= \frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2\\
n:データの個数,x_i:データの値,\bar{x}:標本平均
#5.情報理論
情報に含まれる「情報量」を数学的に定義する
情報量とは？
ある事象が起きたと時に、どのくらい珍しい事象かという尺度
###自己情報量
珍しい=情報量が多いと考えて
自己情報量 = -log\Bigl(P(x)\Bigr)\\
P(x)は確率分布
と定義する。
###平均情報量（シャノンエントロピー）
複数の事象が起こった場合の情報量
平均情報量 = -\sum P(x)log\Bigl(P(x)\Bigr)\\
と定義する。