# ITエンジニアのための機械学習理論入門（第3章）

3.1 確率モデルの利用

• データサイエンティストが取り組む問題はデータがすべてそろっているものはあり得ない
  • どこまでいってもできることは推定でありそこに絶対的な正解はない
  • 正解はないが工夫することで精度を上げることはできる
    • データの選択
    • 手法をいろいろ試す
• 今回は確率モデルを用いた推定方法の解説
• 最小二乗法では得られたデータのある意味平均を通るような多項式を求めた
  • 多項式を正確に求めたとしても、データは誤差を持つ
  • その誤差の大きさを求めていく
• 誤差を含めた多項式を求める際に以下の要素を考える
  • データが発生する多項式のモデル
    • 例えば最小二乗法と同じように重みを付けた多項式
  • データがもつ誤差のモデル
    • 例えば正規分布やt分布など
    • ここはデータからどの分布かわかるならそれを使えばよいが、わからない場合はとりあえずで試せばよい
      • やってみてダメだったとしてもそこから考察ができる
  • 何らかの手法で得られた多項式の重みと誤差分布を評価していく

3.1.2 尤度関数によるパラメータの評価

• 尤度関数
  • データが得られる確率を求める
    • 例えば、サイコロを振って１が出たときにその１が出た確率を求める
    • その事象がどの程度珍しいのか、とか
• 観測されたデータは、最も発生確率が高いデータ
  • と仮定して進める
    • あってるかどうかは不明
    • どこかしらを仮定しなければ勧めない、間違っていたとしてもそこからまた考察すればいいだけ
  • つまり尤度関数が最大になるように各パラメータを求める
    • この最大化問題も数学的に解くことが可能
      • 尤度関数を対数尤度関数に変形
      • 対数尤度関数は線形なので
      • 推定するべき、重みや標準偏差に対して偏微分をすればよい
        • 尤度関数を計算し、それが最大になる（最も尤もらしい）ようなパラメータが最適なものであるとする考え方（？）最尤推定法
        • 求めるためのアルゴリズムではなく考え方っぽい
        • 実際に求めるパラメータは別の手法で求める必要がある
        • 解析的に解くのか数値計算的に解くのかなど

3.2.3 推定量の評価方法

• 最尤推定法は必ずしも正解のモデルを推定できるわけではない
  • データ量が不十分だったり、得られたデータに偏りがあったり
• ちょっとこの節はまだ腹落ちできていない