#1. 線形代数
######スカラーとベクトルの違い
◆スカラー
　・いわゆる普通の数
　・四則演算が可能
　・ベクトルに対する係数になれる

◆ベクトル
　・大きさと向き
　・スカラーとセット

######行列とは

・スカラーを表にしたもの
・ベクトルを並べたもの

何に使うのか？
・ベクトルの変換
・連立方程式を解く

######行列を用いた表示

連立方程式は複雑なのでシンプルに表現するために行列を使用

ベクトルは通常縦に並べることが多い
横に並べる場合は明示する

連立方程式の係数をまとめて表にしたものが行列

######行列とベクトルの積
例題


\begin{equation}
    \begin{pmatrix}
    6 & 4 \\
    3 & 5  
    \end{pmatrix}
    \begin{pmatrix}
    1 \\
    2   
    \end{pmatrix}
=
    \begin{pmatrix}
    6×1+4×2 \\
    3×1+5×2   
    \end{pmatrix}
=
    \begin{pmatrix}
    14 \\
    13  
    \end{pmatrix}
\end{equation}

行列の掛け算を使えば複数の成分から影響を受けて新たな成分に変換ができる

変換後の要素のある「ひとつ」は元の要素「すべて」から影響を受けている

######行列の積

行列はベクトルでできたベクトルと考えることができる

「行」ベクトルが縦に並んでいると考えることもできるし「列」ベクトルが横に並んでるととらえることもできる

行と列をかけて新たな成分を作るのが行列の積

例題


\begin{equation}
    \begin{pmatrix}
    2 & 1 \\
    4 & 1  
    \end{pmatrix}
    \begin{pmatrix}
    1 & 3 \\
    3 & 1  
    \end{pmatrix}
=
    \begin{pmatrix}
    2×1+1×3　2×3+1×1 \\
    4×1+1×3　4×3+1×1
    \end{pmatrix}
=
    \begin{pmatrix}
    5 & 7 \\
    7 & 13  
    \end{pmatrix}
\end{equation}

行列と行列をかけることで新しい積ができる
行列も数と考えることができる

######連立1次方程式の解き方

行基本変形

・2行目を1/2倍する
　→i行目をc倍する
・1行目に2行目の-1倍を加える
・2行目に１行目の-3倍を加える
　→s行目にt行目のc倍を加える
・1行目と2行目を入れ替える
　→p行目とq行目を入れ替える

行基本変形は行列を変形させるということ

行基本変形は行列の掛け算

かけても、かけられても相手が変化しない、
「1」のような行列を「単位行列」という

まるで逆数のような働きをする行列を
逆行列と呼ぶ

######単位行列と逆行列

逆行列を求めるにはどうすればいいか

どのような行基本変形をしたのかを記録して
それを行列と対応させ、かけ算していけば求めることはできる


\begin{equation}
    \begin{pmatrix}
    1 & 4 \\
    2 & 6  
    \end{pmatrix}
    \begin{pmatrix}
    x1 \\
    x2   
    \end{pmatrix}
=
    \begin{pmatrix}
    7\\
    10
    \end{pmatrix}

\end{equation}

左右の形式を同じするために右辺に単位行列をかける


\begin{equation}
    \begin{pmatrix}
    1 & 4 \\
    2 & 6  
    \end{pmatrix}
    \begin{pmatrix}
    x1 \\
    x2   
    \end{pmatrix}
=
    \begin{pmatrix}
    1 & 0 \\
    0 & 1  
    \end{pmatrix}
    \begin{pmatrix}
    7\\
    10
    \end{pmatrix}

\end{equation}

行列と単位行列にそれぞれ行基本変形を行っていくことで
単位行列が最終的に逆行列に変換される

これを「掃き出し法」という

逆行列が存在しない場合

・解がない、解が１組に定まらないタイプの連立方程式
上記のような係数を抜き出したような行列は、逆行列をもたない

######行列式の特徴

n個のベクトルからで来ている場合の特徴
・同じ行ベクトルが含まれていると行列式はゼロ
・１つのベクトルがλ倍されると行列式はλ倍される
・他の成分が全部同じでi番目のベクトルだけ違った場合行列式の足し合わせになる
・行を入れ替えると符号が変わる

######固有値と固有ベクトル

ある行列Aに対して、以下のような式が成り立つような、特殊なベクトルx
と、右辺の係数λがある。


\begin{equation}
A\vec{x}=λ\vec{x}
\end{equation}

行列Aとその特殊なベクトルxの積は、ただのスカラーの数λと
その特殊なベクトルxとの積と同じ値になる。

この特殊なベクトルxとその係数λを行列Aに対する、固有ベクトル、
固有値という。

固有値・固有ベクトル　具体例


\begin{equation}
    \begin{pmatrix}
    1 & 4 \\
    2 & 3  
    \end{pmatrix}
    \begin{pmatrix}
    1 \\
    1   
    \end{pmatrix}
=
    \begin{pmatrix}
    5\\
    5
    \end{pmatrix}
\\

  　　　　　　=5
    \begin{pmatrix}
    1\\
    1
    \end{pmatrix}
\end{equation}

固有値λ=5
固有ベクトル（のうちの一つ）x=(1/1)

固有値・固有ベクトル　求め方

固有値

n次正方行列Aについて、

det(λI−A)=0
のとき、λは行列Aの固有値である。

固有ベクトル

固有ベクトルは、固有値を使って求める。

(λI−A)x=0
に求めた固有値λを代入し、等式が成り立つようなxを固有ベクトルという。
つまり固有値の数だけ、それに対する固有ベクトルが存在する。

######固有値分解

ある実数を正方形にならべて作られた行列AAが固有値λ1λ1, λ2λ2, λ3λ3,・・・と固有ベクトルv1→v1→, v2→v2→, v3→v3→, ・・・を持ったとする。
この固有値を対角線上に並べた行列（それ以外の成分は0）ΛΛと、それに対応する固有ベクトルを並べた行列VVを用意したとき，それらは

AV=VΛ
AV=VΛ

と関係付けられる。なので

A=VΛV−1
A=VΛV−1

と変形できる。
このように正方形の行列を上述の様な３つの行列の積に変換することを固有値分解という。この変換によって行列の累乗の計算が容易になる等の利点がある。

######特異値分解

正方行列以外の行列の固有値分解
ある行列MMに対して、
M=USV−1
M=USV−1

と分解する。UU、VVは直交行列。

#2. 確率・統計

######集合とはなにか？

ものの集まり
数学的には要素が集まったもの
S＝｛a,b,c,d,e,f,g｝
Sという集合はa～gという要素でできている
a ∈ S

集合の要素（元）同士は明確に区別ができる

内部に別の集合（M）があったとすると、
M ⊂ S

⊂に含まれるor含まれないは明確に区別できる
h ∊ S
※hはSの要素ではない

確率・統計に登場する事象は集合として取り扱うことができる

######和集合と共通部分

和集合：Aという集合とBという集合
A ∪ B

共通部分：Aという集合とBという集合両方に含まれる
A ∩ B

######絶対補と相対補

絶対補
※補はそれ以外
U \ A = Ā
この場合はA以外のすべて

相対補
B \ A
この場合はBの中のA以外

######確率

頻度確率（客観確率）
・発生する頻度
例：10本のうち１本だけあたりのくじを引いて当選する
確率を調べたところ１０％であったという事実

ベイズ確率（主観確率）
・信念の度合い
例：あなたは４０％の確率でインフルエンザという診断

確率の定義

P(A) = n(A)/n(U) = 事象Aが起こる数/すべての事象の数
確率はゼロから１の間の値をとる

P(Ā)をP(A)を使って表現せよ
P(Ā) = 1 - P(A)

条件付き確率

・ある事象Bが与えられたもとで、Aとなる確率

P(A|B) = P(A ∩ B)/P(B) = n(A ∩ B)/n(B)

独立な事象の同時確率

・お互いの発生には因果関係のない事象Aと事象Bが同時に発生する確率

P(A ∩ B) = P(A)P(B|A) = P(A)P(B)

P(A ∪ B)の計算

P(A ∪ B) = P(A) + P(B) - P(A ∩ B)

ベイズ則

ある複数の事象について、条件付き確率なのか独立な事象の同時確率なのかを組み合わせて計算する法則

P(A|B)=P(A)P(B|A)P(B)

######確率変数と確率分布

・確率変数
事象と結び付けられた数値

・確率分布
事象の発生する確率の分布

・期待値
その分布における、確率変数の平均の値 or 「ありえそう」な値

######分散と共分散

・分散
データの散らばり具合
期待値からそれぞれどれくらいずれているかを求めて平均を取ったもの

・共分散
2つのデータ系列の傾向の違い

######確率分布

・ベルヌーイ分布

コイントスのイメージ・２値

・マルチヌーイ分布

・カテゴリカル分布
サイコロを転がすイメージ・複数値

・２項分布
ベルヌーイ分布の多施行版

・ガウス分布
釣鐘型の連続分布

######推定

母集団を特徴づける母数を統計学的に推測すること

・点推定
平均値などを一つの値に推定すること

・区間推定
平均値などが存在する範囲（区間）を推定すること

######推定量と推定値

・推定量(estimator)
パラメータを推定するために利用する数値の計算方法や計算式のこと、推定関数とも。

・推定値(estimate)
実際に試行を行った結果から計算した値

######標本平均
母集団から取り出した標本の平均値

一致制
サンプル数が大きくなれば母集団の値に近づく

不偏性
サンプル数がいくらであっても、その期待値は母集団の値と同様

#3. 情報理論

######自己情報量
対数の底が2のとき，単位はビット(bit)、対数の底がネイピアのeのとき，単位は(nat)

######シャノンエントロピー
自己情報量の期待値

#####カルバック・ライブラーダイバージェンス
同じ事象確率変数における異なる確率分布P、Qの違いを表す

######交差エントロピー
KLダイバージェンスの一部分を取り出したもの

######所感
数式のみを覚えるのではなく理解する必要がある。
実際に手での計算はもちろんだがコードに落とし込めるように
する。