#1.線形代数

行列：数値を行と列に配置したもの

A= 
\begin{pmatrix}
1 & 2 \\
3 & 4
\end{pmatrix}

A(行,列) = 数値とすれば

A(1,2) = 2 \\
A(2,1) = 3

###特徴を持つ行列
単位行列：対角成分がすべて1でそのほかの成分が0の行列

I =
\left(
\begin{array}{ccccc}
1 & 0 &\cdots & \cdots & 0\\
0 & \ddots & & & \vdots \\
\vdots & & 1 & & \vdots \\
\vdots & & & \ddots & 0 \\
0 & \cdots & \cdots & 0 & 1\\
\end{array}
\right)

逆行列：元の行列に掛けると単位行列に戻る行列（n×nの正方行列に存在）

A^{-1}A = I\\
AA^{-1} = I

逆行列の求め方-掃き出し法

(A|I) → (I|A^{-1})

となるように様に計算を行う。

行列の計算は以下の行基本変形に従う。

ある行を定数倍する
ある行と他の行を入れ替える
ある行に他の行の定数倍を加える

###行列を利用して連立方程式を解く

\begin{align}
x+2y &= 5 \\
3x+4y &= 11
\end{align}

という連立方程式があるとき、行列に直すと

\begin{pmatrix}
1 & 2 \\
3 & 4
\end{pmatrix}

\begin{pmatrix}
x \\
y
\end{pmatrix}
=
\begin{pmatrix}
5\\
11
\end{pmatrix}

と記述できる。

A = 
\begin{pmatrix}
1 & 2 \\
3 & 4
\end{pmatrix}

として、両辺に左側から逆行列を掛けると、

A^{-1}
\begin{pmatrix}
1 & 2 \\
3 & 4
\end{pmatrix}

\begin{pmatrix}
x \\
y
\end{pmatrix}
=
A^{-1}
\begin{pmatrix}
5\\
11
\end{pmatrix}

と書けて、計算すると

\begin{pmatrix}
1 & 0 \\
0 & 1
\end{pmatrix}

\begin{pmatrix}
x \\
y
\end{pmatrix}
=
\begin{pmatrix}
1\\
2
\end{pmatrix}

x = 1, y = 2

が得られる。

#2.確率
確率：物事の「起こりやすさ」を数値で表す。客観確率と主観（ベイズ）確率に分かれる。

定義

P(A) = \frac{n(A)}{n(U)} = \frac{事象Aが起こる数}{すべての事象の数},\quad
0 \leqq P(A) \leqq 1

###条件付き確率

定義：ある事象Bが与えられた下で、Aとなる確率

P(A|B) = \frac{P(A \cap B)}{P(B)} = \frac{n(A \cap B)}{n(B)}

###ベイズの定理
P(B|A) の逆確率である P(A|B) は、「P(B|A) と P(A) の積を P(B) で割る」と求められる。

P(A|B) = \frac{P(B|A)P(A)}{P(B)}

P(A) を事前確率、P(B|A) を尤度、P(A|B) を事後確率という

###独立な事象の同時確率
定義：お互いの発生には因果関係のない事象Aと事象Bが同時に発生する確率

P(A \cap B) = P(A)P(B|A) = P(A)P(B)

#3.統計
記述統計：集団の性質を要約し記述する
推測統計：集団から一部を取り出し元の集団（母集団）の性質を推測する

###期待値
定義：1回の試行で得られる値の平均値
離散型の場合

E(f) = \sum_{k=1}^{n} P(X = x_k )f(X = x_k)\\
P(X):確率,f(X):確率変数

連続型の場合

E(f) = \int P(X = x )f(X = x)dx

###分散
データの散らばり具合を表す

Var(f) = \frac{1}{n}\sum_{i=1}^{n}(x_i - μ)^2\\
n:データの個数,x_i:データの値,μ:平均

###共分散
2つのデータの傾向の違い

COV(f,g) > 0　なら似た傾向\\
COV(f,g) = 0　なら無関係\\
COV(f,g) < 0　なら逆の傾向

###標準偏差
平均値からのばらつき

σ = \sqrt{Var(f)}

#4.推定
母集団を特徴づける母数を統計学的に推測すること
→標本を使って母集団の特徴を推測する

点推定：平均値等を1つの値に推定すること
区間推定：平均値等が存在する範囲を推定すること

###標本平均
母集団から取り出した標本の平均値

サンプル数が大きくなれば母集団の値に近づく（一致性）
サンプル数がいくつでも、その期待値は母集団の値と同様（不偏性）

E(\tilde{\theta} = \theta)

###標本分散
母集団の中から一部を抽出して分散を求めたもの
→一致性〇、不偏性×

###不偏分散
分散の式にn/n-1をかけたもの
→一致性〇、不偏性〇

s^2 = \frac{n}{n-1}×\frac{1}{n}\sum_{i=1}^{n}(x_i - \bar{x})^2= \frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2\\
n:データの個数,x_i:データの値,\bar{x}:標本平均

#5.情報理論
情報に含まれる「情報量」を数学的に定義する

情報量とは？
ある事象が起きたと時に、どのくらい珍しい事象かという尺度

###自己情報量
珍しい=情報量が多いと考えて

自己情報量 = -log\Bigl(P(x)\Bigr)\\
P(x)は確率分布

と定義する。

###平均情報量（シャノンエントロピー）
複数の事象が起こった場合の情報量

平均情報量 = -\sum P(x)log\Bigl(P(x)\Bigr)\\

と定義する。