ラビットチャレンジに挑戦しよう

ラビットチャレンジ Stage1（応用数学）

① 線形代数

〇 固有値と固有ベクトル
・n次の正方行列Aと複素数λに対して

A\vec{x} = λ\vec{x}\\

　であるような複素n次元数ベクトル x≠0が存在するためには、λが行列Aの固有値であることが必要不十分である。

　[ 例題 ]
　　　　次の各行列の固有値、固有ベクトルを求めよ。

A = \begin{bmatrix}
1 & 0\\
-4 & -1
\end{bmatrix}

　[ 解法 ]

A\vec{x} = λ\vec{x}\\
(A-λI)\vec{x} = \vec{0}\\
 \vec{x}≠\vec{0}より、

|A-λI| = 0\\
\begin{vmatrix}
1-λ & 0\\
-4 & -1-λ
\end{vmatrix} = 0\\
(1-λ)(-1-λ)-0・(-4) = 0\\

　　　　　　　　　　　　　　　　　　よって、各行列の固有値は

λ = 1,-1

　　　　　　　　　　　　　(i) λ = 1のとき

\begin{bmatrix}
0 & 0\\
-4 & -2
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix} = 
\begin{bmatrix}
0\\
0
\end{bmatrix} \\

　　　　　　　　　　　　　　　　　　　　を解いて、

4x_1+2x_2 = 0　すなわち　x_2 = -2x_1

　　　　　　　　　　　　　　　　　　　　よって固有ベクトルは、

x = 
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix} = 
\begin{bmatrix}
x_1\\
-2x_2
\end{bmatrix} = x_1
\begin{bmatrix}
1\\
-2
\end{bmatrix} 　　(x_1は任意,x_1 ≠ 0)

　　　　　　　　　　　　　(ii) λ = -1のとき

\begin{bmatrix}
-2 & 0\\
4 & 0
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix} = 
\begin{bmatrix}
0\\
0
\end{bmatrix} \\

　　　　　　　　　　　　　　　　　　　　を解いて、

-2x_1 = 0　すなわち　x_1 = 0

　　　　　　　　　　　　　　　　　　　　よって固有ベクトルは、

x = 
\begin{bmatrix}
x_1\\
x_2
\end{bmatrix} = 
\begin{bmatrix}
0\\
x_2
\end{bmatrix} = x_2
\begin{bmatrix}
0\\
1
\end{bmatrix} 　　(x_2は任意,x_2 ≠ 0)

　　　　　　　　　　　　　　　よって、各行列の固有値・固有ベクトルは
　　　　　　　　　　　　　　　　　　固有値λ = 1のとき、
　　　　　　　　　　　　　　　　　　　固有ベクトルは

x_1\begin{bmatrix}
1\\
-2
\end{bmatrix} 　　　(x_1は任意,x_1 ≠ 0)

　　　　　　　　　　　　　　　　　　固有値λ = -1のとき、
　　　　　　　　　　　　　　　　　　　固有ベクトルは

x_2\begin{bmatrix}
0\\
1
\end{bmatrix} 　　　(x_2は任意,x_2 ≠ 0)

② 確率・統計

確率とは

ある事象の起こる可能性の度合い。公算。蓋然率(がいぜんりつ)。(※Weblio辞書)
今回は頻度確率とベイズ確率について説明する。

・頻度確率（客観確率）
　例:「100本のうち一本だけ当たりのクジを引いて当選する確率を調べたところ1%であった」

　　①条件付き確率
　　→ある事象X=xが与えられた下で、Y=yとなる確率

P(Y=y|X=x) = \frac{P(Y=y,X=x)}{P(X=x)}

　　②独特な事象の同時確率
　　→お互いの発生には因果関係のない事象X=xと事象Y=yが同時に発生する確率

P(X=x|Y=y) = P(X=x)P(Y=y)\\
= P(Y=y,X=x)

・ベイズ確率（主観確率）
　例:「あなたは20%の確率でインフルエンザです」

P(X=x|Y=y)P(Y=y) = P(Y=y|X=x)P(X=x)\\

統計とは

集団の個々の構成要素の分布を調べ、その集団の属性を数量的に把握すること。また、その結果を数値や図表で表現したもの。(※Weblio辞書)

　　　　　　　　　①期待値E(f)

E(f) = \sum_{k = 1}^{n}
P(X=x_k)f(X=x_k)

　　　　　　　　　②分散Var(f)

Var(f) = E((f_{(X=x)}-E_{(f)})^2)\\
E(f^2_{(X=x)})-(E_{(f)})^2

　　　　　　　　　③共分散Cov(f,g)

Cov(f,g) = E((f_{(X=x)}-E(f))(g_{Y=y}-E(g)))\\
=E(fg)-E(f)E(g)

　　　　　　　　　④標準偏差

\sigma=
\sqrt{Var(f)}\\
　　　　　=\sqrt{E((f_{(X = x)}-E_{(f)})^2)}

③ 情報理論

自己情報量

・対数の底が2のとき、単位はビット(bit)
・対数の底がネイピアの時、単位は(nat)

I(x) = -\log(P(x)) = \log(W(x))

シャノンエントロピー

H(x) = E(I(x))\\ 
    　　　　= -E(\log(P(x)))\\
　　　　　　= -\sum(P(x)\log(P(x)))\\

カルバック・ライブラー情報量

・同じ事象・確率変数における異なる確率分布P.Qの違いを示す

D_{kl}(x) = 
\underset
{x \sim P}
{\mathbb{E}}[\log\frac{P(x)}{Q(x)}] =  
\underset
{x \sim P}
{\mathbb{E}} [\log P(x) - \log Q(x)]

交差エントロピー①

・KLダイバージェンスの一部分を取り出したもの
・Qについての自己情報量をPの分布で平均している

H(P,Q) = 
H(P) + D_{K}{L}
(P||Q)

H(P,Q) = 
\underset
{x \sim P}
{-\mathbb{E}}
\log{Q(x)}

交差エントロピー②

H(P,Q) = 
\underset
{x \sim P}
{-\mathbb{E}}
\log{Q(x)} = -\sum_{x}P(x)
\log{Q(x)}

参考文献

横井英夫/尼野一夫 共著、線形代数演習、サイエンス社、p216,218