応用数学レポート

目次

• 応用数学
  • 第一章　線形代数
  • 第二章　確率・統計
  • 第三章　情報理論

第一章　線形代数

• スカラー
  • 普通の数、ベクトル係数
• ベクトル
  • 「大きさ」と「向き」を持つ
• 行列
  • スカラーを並べたもの
  • ベクトルを並べたもの
  • ベクトルの変換に使う

• 行列の積

• 逆行列
  

• 2 × 2 行列式

• 3 × 3 行列式

• 固有値・固有ベクトル
  ある行列Aに対して、以下のような式が成り立つような、特殊なベクトルXと、右辺の係数λがある。
  

つまり、ある特殊なベクトルXに対しては「行列Aとその特殊なベクトルXの積は、ただのスカラー数λとその特殊なベクトルXとの積と同じ様になる」ということである。この特殊なベクトルXとその係数λを、行列Aに対する、固有値ベクトル、固有値という。

• 固有値分解
  ある実数を正方形にならべて作られた行列Aが固有値λ1, λ2, ・・・と固有ベクトルv1, v2, ・・・を持ったとする。この固有値を対角線上に並べた行列（それ以外のは成分は0）

と、それに対応する固有ベクトルを並べた行列

を用意したとき、それらは

と関係付けられる、したがって

と変形できる。このように正方形の行列を上述の様な３つの行列の積に変換することを固有値分解という。この変換によって行列の累乗の計算が用意になるなどの利点がある。

• 特異値分解（SVD、Singular Value Decomposition）

• 内積
  

###【考察】
　固有値分解・特異値分解は主成分分析、自然言語処理のLSIで利用する。

###【演習問題】
　

第二章　確率・統計

集合

集合A,Bについて

確率

• 条件付き確率
  ある事象Xが与えられた下で、Yとなる確率
  

• ベイズ則
  一般的に事象Xと事象Yに対して
  

統計

• 記述統計

• 推測統計

• 確率変数

• 確率分布

• 期待値（平均）
  離散的な確率分布P(X)の下で、確率変数f(X)の期待値
  

• 分散（Var、Variance）
  

• 共分散（Cov、Covariance）

• ベルヌーイ分布

  e.x.) コイントス

• マルチヌーイ分布

• カテゴリカル分布

e.x.) サイコロ

• 二項分布
  

• ガウス分布（正規分布）
  

• ポアソン分布
  

###【考察】
　ベルヌーイ分布はロジスティック回帰モデルで利用。
　ポアソン分布を導く

###【演習問題】

第三章　情報理論

• 自己情報量

※I(X) は情報量、P(X) は事象 X の発生する確率。

• シャノンエントロピー
  • 自己情報量の期待値

• カムバック・ライブラー ダイバージェンス（KLダイバージェンス）

　エントロピー・KL divergenceの復習

• 交差エントロピー（クロスエントロピー）
  • 離散確率分布 P(x)とQ(x) のクロスエントロピー

　交差エントロピー誤差をわかりやすく説明してみる

###【考察】

###【演習問題】