応用数学
1.行列
行列はベクトルの集合
ベクトルはスカラーの集合
スカラーは普通の数(四則演算できるもの)
2.行列の積について
行列の積の結果におけるそれぞれの要素は、積算のもとになった行列、またはベクトルすべての要素から影響を受けている
3.線形代数とは
Likerと呼ばれ、ベクトルの表現そのもののことを呼ぶ
4.固有値とは
スカラーで表現される
ある行列からスカラーを係数のように取り出して、固有値とする。
その固有値に分解された残骸が、固有ベクトルである。
したがってある行列の固有値に対する固有ベクトルは一つである。
5.固有値分解とは
行列の累乗の計算を容易にするために行われる
ある正方形の行列を、固有ベクトルを並べた行列と固有値を対角線上に並べた行列(対角線以外は0にして固有値を表現)で構成される式に表現しなおすこと。
6.特異値分解とは
正方形以外の行列を疑似的に固有値分解すること
対象の行列を転置させ、転置前の行列と転置後の行列の積で正方形化する。それを固有値分解する。
確率・統計
1. 独立的な事象の同時確率の出し方
お互いに因果関係のない事象xと自称yが同時に発生する確率は、それらの積によって表される。
2. 条件付き確率
ある事象xが与えられた条件かでyとなる確率
3. 確率変数とは
確率を計算する元となる変数のこと(事象が発生した回数ではなく、事象そのものを確率計算をするために数値化したもの
4. 確率分布とは
ある確率変数をとる確率の分布
確率の規則を表す
この確率分布に従って起こる変数が、確率変数である
5. 分散とは
データの散らばり具合のこと
期待値からどれだけデータがずれているのかを表す
ずれを平均して算出している
6. 共分散とは
二つのデータ系列の傾向の違い
正=似た傾向
負=逆の傾向
ゼロ=関係性なし
7. ベルヌーイ分布
イエスかノーかの確率分布
8.マルチヌーイ(カテゴリカル)分布
いくつかの結果カテゴリーがある確率分布
8. 二項分布
ベルヌーイ分布となるテスト太対象を、何度も試したもの
9. ガウス分布
確率をグラフで表せるよう、分布を数式化したもの
積分値が1以内に収まるように、数式で調整している。
10. 期待値とは
その分布における確率変数の平均の値、またはありえそうな値を表す
情報理論
0. 情報理論の目的
無駄な計算、無駄な情報を把握し、効率的に情報を伝達するためのもの
1.自己情報量とは
その情報が全体でいかにユニークな値を保持しているか
2.シャノンエントロピーとは
自己情報量の期待値
エントロピーとは平均情報量のことである
3.カルバック・ライブラーダイバージェンス
同じ事象・確率変数における、異なる確率分布の違いを表す
4.交差エントロピー
ある確率分布に最適化された方式で別の確率分布をエンコードしたときの平均情報量。