最適化とは何だろう？

• 問題提起

  • 機械学習では、予測や分類モデルを作成する際に最適化が行われる。
  • 最適化とは何だろうか。
  • 以下では、厳密さをある程度犠牲にしても、誰でもイメージがつかめる視覚的な説明がしたい。

• 最適化とは何か。

  • 回帰分析における最適化

    • データAからデータBを予測する式を得るために、予測式の最適なパラメーターを得るために最適化が行われる。

      • パラメータというのは以下
        • 切片
        • 傾き
      • 適切な切片と傾きが得られれば、データAからデータBを予測できる。

    • 図1
      

      • 横軸: データA(この例では身長)
      • 縦軸: データB(この例では体重)

  • パラメーターが最適化されていない予測式の例

    • 図2
      

      • 切片が不適切であるため、予測式とデータがずれてしまっている。

    • 図3
      

      • 傾きが不適切であるため、予測式とデータがずれてしまっている。

  • NW(ニューラルネットワーク)の例

    • NWにおける最適化とは？

      • 適切な予測や分類をするために、ノードやエッジに設定する適切なパラメーターを見つけること
        • パラメーターは以下がある。
          • エッジの重み(ノードへの入力値の重み)
          • ノードに設定するバイアス(ノードが発火するしきい値)

    • 図4
      

      • NWは「ノード」と「エッジ」から構成される。
        • ノード: 図4の丸
        • エッジ: 図4でノードとノードをつなぐ線
        • 一つ一つのノードは、受け取った値から出力の値を計算する。
      • ノードやエッジの構成は、様々である。(図4はNWのイメージで、エッジが省略されている)

    • NWにおける最適化

      • 図4は、「身長」「体重」「言葉遣い」から、性別を推測しようというNWである。
      • 精度の高い予測をするために、エッジの重みやノードのバイアスを適切に設定する必要がある。
      • 適切なエッジの重みやノードのバイアスを見つけることが、NWにおける最適化である。

• まとめ。最適化とは何か。

  • 目的を達成するために、最適なパラメーターの値を見つけ出すこと。
  • 機械学習において、予測や分類のためのモデルの内部的なパラメーターを設定するために使われる。