#線形代数
ベクトル…大きさと向きをもったもの
積の求め方…基本はたすき掛け
連立方程式を行列を用いて解く…行基本変形、つまり行列の変形を行うことにより解く
手順自体も計算として表せる
逆行列…行列の逆数のような物
単位行列…掛けても、掛けられても相手が変化しない
単位行列と逆行列…逆行列を左から掛けたり、右から掛けると単位行列になる
逆行列の求め方…掃き出し法→左右の係数の行列に同じ行基本形を実行する
逆行列が存在しない条件…解がない、解が一組に定まらないタイプの連立方程式
行列式の特徴…逆行列の有無を判別する平行四辺形の面積を行列式という
行列式には線形性がある
固有値と固有ベクトル…特殊なベクトルとxとその係数λを行列Aに対する固有ベクトル、固有という
固有値と固有ベクトルの求め方…固有値は行列式が0になることより、2次方程式を解いて求める。固有ベクトルは比率しかわからない
固有値分解…固有値に分解することによって、行列の累乗の計算が容易になる。また行列の特徴がわかり、行列を分類することが出来る。
特異値分解…正方形以外の行列を分解したもの
特異値分解の求め方…正方形以外の行列に転置した行列を掛けると正方行列になるので、それを固有値分解すれば良い
特異値分解の利用例…画像を特異値分解することで、画像を圧縮できる。また、特異値により分類することで教師なし学習ができる。
統計学…大量のデータを読めるようになりたい
集合とは…ものの集まり
確率…頻度確率(発生する頻度)、ベイズ確率(信念の度合い)
条件付確率…ある事象が与えられた条件下で、起こる確率
独立な事象の同時確率…お互いの発生には因果関係のない事象が同時に発生する確率。それぞれの事象を掛け合わせることで求められる。
#確率統計
記述統計と推測統計…記述統計(集団の性質を要約し記述する)
推測統計(集団から一部を取り出し、母集団の性質を推測する)
確率変数と確率分布…確率変数(事象と結びつけられた数値、事象そのものを指すと解釈する場合も多い)
確率分布(事象の発生する確率の分布、離散値であれば表に示せる)
期待値…その分布における、確率変数のありえそうな値
分散と共分散…分散(データの散らばり具合、データの各々の値が期待値からどれだけずれているか平均したもの)
共分散(2つのデータ系列の傾向の違い、正の値は似た傾向、負の値は逆の傾向、ゼロは関係性が乏しい)
標準偏差…2乗することの逆演算(つまり平方根)をすれば元の単位に戻る
様々な確率分布Ⅰ…ベルヌーイ分布(コイントスのイメージ、裏と表の出る割合が等しくなくとも扱える)
マルチヌーイ分布(さいころを転がすイメージ、各面の出る割合が等しくなくとも扱える)
様々な確率分布Ⅱ…二項分布(ベルヌーイ分布の多試行版)
ガウス分布(釣り鐘型の連続分布)
推定…母集団を特徴付ける母数を統計学的に推測すること
推定量と推定値…推定量(パラメータを推定するために利用する数値の計算方法や計算式のこと。推定関数とも)
推定値(実際に試行を行った結果から計算した値)
標本平均…母集団から取りだした標本の平均値
サンプル数が大きくなれば、母集団の値に近づく→一致性
サンプル数がいくらであっても、その期待値は母集団の値と同様になる→不偏性
標本分散…一致性は満たすが、不偏性は満たさない
不偏分散…平均に拘束されるので、その分1減らして、n-1で割り、修正する(大きくする)
情報理論…増加の比率が違えばわかりやすさが違う
自己情報量…対数の底が2のとき、単位はbit logをとることで、場合の数が増えていくと増加する
対数の底がeのとき、単位はnat
シャノンエントロピー…微分エントロピーともいうが、微分しているわけではない。自己情報量の期待値
カルバック・ライブラー ダイバージェンス…同じ事象・確率変数における異なる分布P,Qの違いを表す
交差エントロピー…KLダイバージェンスの一部分を取り出したもの、Qについての自己情報量をPの分布で平均している