こんにちは。
林@アイエンターR＆Dです

最近は機械学習の分野では、Amazon/Google/Microsoft など
世界のIT企業のトップが積極的にプラットフォームを提供しており、
ディベロッパーが機械学習を導入するハードルも下がりつつあります。

しかしながら、プラットフォームやツールの使い方は習得しても
その裏側のアルゴリズムの理解については、まだまだハードルが
高いイメージもあるかと思います。

ただ、高度な数学的な知識が必要となる部分もありますが
基本原理は高校数学レベルで理解できる部分もあります。
今回はその中でシンプルな「回帰分析」という解析手法の例を紹介します。

その前に機械学習の基本概念について少し触れておきます。

機械学習のモデルは大きく分けて「教師あり学習」と「教師なし学習」があります。

「教師あり学習」はお手本となる「教師データ」を用意し，
そのデータに沿って，将来起こりそうな事象を予測します。
機械学習のサービスの大半は、この「教師あり学習」のモデルです。

「教師なし学習」は判断するための教師データはありません。
解析対象のデータに存在する特徴を探し出し、データの似た者同士を
グループ分けする用途で使用されます。

これ以外にも「半教師あり学習」や「強化学習」と呼ばれる
モデルもありますが、今回は説明を割愛します。

「教師あり学習」モデルでは「回帰」と「分類」という基本概念があります。

「回帰」とは、簡単に言うと「数値予測」です。
過去の入力数値から未来の数値を予測する概念です。
たとえば、「明日の日経平均株価はいくら？」とか
「明日の最高気温は何度？」などの予測をイメージしてもらうと
わかりやすいかと思います。

「分類」は、過去の入力数値を元に、新たに与えられたデータを
グループに仕分けする概念です。
迷惑メールフィルターがイメージしやすいモデルかと思います。

数値予測の「回帰」にフォーカスすると、回帰分析という数学的なアプローチがあります。

回帰分析とは、計測データをグラフ化したときに、それにフィットする関数を予測する方法です。

その中でも機械学習サービスは「線形回帰（linear regression）」という
数学モデルを用いています。

今回はまずは、最もシンプルな回帰分析の例で
最小二乗法で直線を推定する方法を紹介します。

つまり、下図のような、赤点のプロットデータ（x,y）に
対して、青い破線の直線の一次方程式を求める方法です。

＜一次方程式での推定＞

この方程式のaとbの値を算出することで、
先のxの値に対するyの値を推測できるようになります。

どのような直線が相応しいものかの1つの考え方として
直線と各データプロットの距離の和が最小になるように考えます。

つまり、下図のようにデータプロットの赤点と、
直線上の黄点を結んだ緑線の長さに着目します。
直線との距離の誤差が最小になるようにするイメージです。

各赤点の座標を以下のように表現します。

ちなみにプロットの赤点の各座標は、以下の通りです。

プロット赤点（Xi, Yi)と直線上の黄点の数値差をDiとすると、

と書けます。

ただ、この数値差Diは正負のどちらにも成りえますので、それらを足し合わせても
最小値の評価には成りえません。

なのでDiを二乗した総和Sで評価します。

さらに、このS(a,b)に上記の、(X0, Y0)...(X5, Y5)の
実データを入れて計算すると、以下のような形に展開されます。

つまり、以下の2変数関数S(a,b)を最小にする、aとbを求めればよいことになります。

2変数関数の最小値を求める場合は、高校数学で学習する
偏微分を用います。

S(a,b) が最小になるポイントでは、a,bでそれぞれ偏微分した値は0になります。

上記はa,bの連立方程式となりましたのでそれを解くと、aとbは以下の値になります。

つまり、以下の1次関数が求める直線になります。

計測データには、X=6のデータはありませんが、この推測した関数を用いると、
Y = 1.4 × 6 + 2 = 10.4という数値を予測できることになります。

ただ、今回の解析は仮説ベースのものであることも忘れてはならないポイントです。

計測されたデータ群が関数に当てはめることができること自体も
仮説でありますし、それをさらに今回は直線と仮定したところも
強い縛りのある仮説になります。

ただ、仮説というモデルがなければ、収集されたデータ群から予測解析はできません。
つまり、機械学習を導入する上ではモデルの設計が重要なポイントです。
また、機械学習は厳密さをある程度割り切って「計算できる」ことに重点をおく
思想であることも重要なポイントだったりします。

今回のお話はここまで！