線形回帰

理論（要点まとめ１点）

直線のみで予測する

 \boldsymbol{\hat{y}} = \boldsymbol{w}^T\boldsymbol{x} + w_0

係数$w$は最小二乗法で求める。
個人的に感じたメリットは以下の通り。

結果が理解しやすい
計算負荷が小さい
説明変数の重要度を係数の大小で比較できる（説明変数は正規化しておく必要）

演習（実装演習結果１点）

ボストンの住宅データセットを用いた線形回帰のモデル作成。
課題は以下の通り。

部屋数が4で犯罪率が0.3の物件はいくらになるか？

この２変数だけで回帰するモデルを作成する想定だと解釈して、演習を行った。

なお、以下の２点はラビットチャレンジのドキュメントが正しくなさそう
・Google Driveのマウントの方法(古い)
・課題データのURL（存在しないと言われる）

非線形回帰モデル

理論（要点まとめ１点）

非線形の関数のみで予測する

 \boldsymbol{\hat{y_i}} = \boldsymbol{w}^T\phi(\boldsymbol{x_i}) + w_0 + \epsilon_i

係数$w$は最小二乗法や最尤法で求める。
$ \phi $に使われる関数は、多項式関数やガウス型基底関数、スプライン関数、Bスプライン関数などがある。

過学習を防止するために、以下の二つの方法を学んだ。

不要な基底関数を削除
正則化法(罰則化法)

なお、正則化項の入れ方で名前が変わる。
L2ノルムの場合：Ridge推定量
L1ノルムの場合：Lasso推定量

Lassoの場合はスパースになる

演習（実装演習結果１点）

課題は特になし。
実装のコードがあるので、回して遊んでみる。
100乗くらいの多項式入れてあげると、過学習してる様子が見て取れる。

deg = [100]
for d in deg:
    regr = Pipeline([
        ('poly', PolynomialFeatures(degree=d)),
        ('linear', LinearRegression())
    ])
    regr.fit(data, target)
    p_poly = regr.predict(data)
    plt.scatter(data, target, label='data')
    plt.plot(data, p_poly, label='polynomial of degree %d' % (d))

ロジスティック回帰

理論（要点まとめ１点）

分類問題を解くための教師あり機械学習モデル(教師データから学習)
入力データとm次元パラメータの線形結合をシグモイド関数に入力して、y=1になる確率の値を出力するモデル

p_i = \sigma( \boldsymbol{w}^T\boldsymbol{x} + w_0)

ちなみに、ロジスティック回帰モデルは一般化線形モデルの一種らしい。
https://ja.wikipedia.org/wiki/%E3%83%AD%E3%82%B8%E3%82%B9%E3%83%86%E3%82%A3%E3%83%83%E3%82%AF%E5%9B%9E%E5%B8%B0

演習（実装演習結果１点）

タイタニックの乗客データを利用し、ロジスティック回帰モデルを作成。
課題は以下の通り。

年齢が30歳で男の乗客は生き残れるか？

１）単純にまずは、コードを動かしてみる。

Google Driveのマウントのセルは削除して、Googleの誘導に従った
データ保存場所も異なっていたので変えた

上の図では、横軸が運賃であり、

青点が０であったデータ点
オレンジ点が０となる確率
緑点が1となる確率
赤線がシグモイド関数の出力値
のようである。念の為、オレンジと緑の合計が１になることを確認した。

2）課題用のモデルを作成し、回答を作成する。

data2 = titanic_df.loc[:, ["AgeFill", "Gender"]].values
label2 =  titanic_df.loc[:,["Survived"]].values
model2 = LogisticRegression()
model2.fit(data2, label2)
model2.predict([[40,1]])
model2.predict_proba([[40,1]])

結果は以下の通り。
array([[0.81529326, 0.18470674]])
82%くらいの確率で生存しそうです。

主成分分析

理論（要点まとめ１点）

多変量データの持つ構造をより少数個の指標に圧縮するときに使う。

学習データが１つあたり、m次元ベクトル
それがn個存在するとした時に、
データ行列$\bar{X}$は、n*m行列で、（各学習データ-平均ベクトル）

分散共分散行列は、

\frac{\bar{X^T} \bar{X}}{n}

主成分分析を計算する手順

1.分散共分散行列を計算
2.固有値問題を解く
3.(最大)m個の固有値と固有ベクトルのペアを得る

演習（実装演習結果１点）

32次元のデータを2次元上に次元圧縮した際に、うまく判別できるかを確認。

かなり上手く分類できているようである。
60%程度の情報は復元できる様子。

演習問題関連の発展（１点）

第三主成分まで含めるた場合について、自身で実装演習。
結果としては、70%くらいまで判別できる割合が上がった。

pca = PCA(n_components=3)
X_train_pca = pca.fit_transform(X_train_scaled)
print('explained variance ratio: {}'.format(pca.explained_variance_ratio_))

アルゴリズム

k近傍法

理論（要点まとめ１点）

最近傍のデータをk個取ってきて、それらがもっとも多く所属するクラスに識別

ポイント

kを大きくすると決定境界は滑らかになる

個人的な気づき

k=1の場合を考えると、各データ点と最近傍のデータ点を結ぶ垂直二等分線を境界に分類されそう。
データ点が１個増えるごとに境界線が結構動く可能性があるので、堅牢性は低そう。

演習（実装演習結果１点）

課題

人口データと分類結果をプロットしてください

とあるが、人口データが見つからなくなってしまっているようだ。
そこで、ダミーデータの生成を行い、分類をおこなった。

k平均法

理論

教師なし学習のクラスタリング手法で、与えられたデータをk個のクラスタに分類する

k平均法を計算する手順

1.各クラスタ中心の初期値を設定する
2.各データ点に対して、各クラスタ中心との距離を計算し、最も距離が近いクラスタを割り当てる
3.各クラスタの平均ベクトル（中心）を計算する
4.収束するまで2, 3の処理を繰り返す

初期値の取り方で結果が変わる点に注意

演習

ワインのクラスタリング
本質的にクラスタリングに関わるプログラムは以下の部分。

model = KMeans(n_clusters=3)
labels = model.fit_predict(X)

上側のコードで指定しているクラスターの数を変更することで、異なる数のクラスターに分類することができる。

Support Vector Machine

理論（要点まとめ１点）

元来2クラス分類問題を解くための手法として発展してきた。
マージン最大化するような境界を選ぶ。
分離可能性を仮定したSV分類のことを一般にハードマージン(hard margin)と呼ぶ。
逆に多少の誤分類を許容したSV分類は、ソフトマージンと呼ぶ。
スラック変数(slack variable)と呼ばれるもので、どこまで誤分類を許容するか決める。
スラック変数にかかる係数Cが正則化係数と呼ばれる。

正則化係数C→∞の極限で、ハードマージンになる。

演習（実装演習結果１点）

ランダムな線形分離可能なデータを生成して、ＳＶＭで境界線の決定を行う。

def gen_data():
    x0 = np.random.normal(size=50).reshape(-1, 2) - 2.
    x1 = np.random.normal(size=50).reshape(-1, 2) + 2.
    X_train = np.concatenate([x0, x1])
    ys_train = np.concatenate([np.zeros(25), np.ones(25)]).astype(np.int)
    return X_train, ys_train

ただし、上で作成したデータは、0と1のラベルがついているので、
学習させるまでに、1と-1に変換しておく必要がある。

t = np.where(ys_train == 1.0, 1.0, -1.0)

分離すると以下のような図になる。

より発展的には、ガウシアンカーネルなどを使えば、線形分離できない場合にも対応できる。