　お疲れ様です。
　今回は第2弾、データセットを使って簡単なデータ分析をしてみたいと思います。

最小二乗法とは

測定で得られた数値の組を、適当なモデルから想定される1次関数、対数曲線など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、残差の二乗和を最小とするような係数を決定する方法、あるいはそのような方法によって近似を行うことである。
(Wikipedia:https://ja.wikipedia.org/wiki/%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%97%E6%B3%95)

ライブラリを読み込む

　まずはデータの読み込みや分析、グラフに必要なライブラリを読み込みます。
　基本的なライブラリは下記のURLを参考にしてきましたので、今回もこれらのライブラリをまず読み込みます。
　https://logics-of-blue.com/python-state-space-models/

　他にライブラリが必要になってきた場合は、今回は適宜読み込むようにします。

# 基本のライブラリを読み込む
import numpy as np
import pandas as pd
from scipy import stats
from pandas.core import datetools

# グラフ描画
from matplotlib import pylab as plt
import seaborn as sns
%matplotlib inline

# グラフを横長にする
from matplotlib.pylab import rcParams
rcParams['figure.figsize'] = 15, 6

# 統計モデル
import statsmodels.api as sm

データセットを読み込む

　今回は、機械学習用ライブラリsckit-learnのデータセットである、Boston house-prices(ボストン市の住宅価格)を使って、簡単なデータ分析をしていきたいと思います。

# Boston house-prices (ボストン市の住宅価格)のデータセットを読み込む
from sklearn.datasets import load_boston
boston = load_boston()

# データの内容を表示する
pd.DataFrame(boston.data, columns=boston.feature_names)

　これで実行すると、次のように出力されました。
　今回使うデータセットの内容です。

　ここで記載されている各カラムの意味を記載しておきます。
　下記から引用しました。
　http://pythondatascience.plavox.info/scikit-learn/scikit-learn%E3%81%AB%E4%BB%98%E5%B1%9E%E3%81%97%E3%81%A6%E3%81%84%E3%82%8B%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88

WORD	意味
CRIM	人口 1 人当たりの犯罪発生数
ZN	25,000 平方フィート以上の住居区画の占める割合
INDUS	小売業以外の商業が占める面積の割合
CHAS	チャールズ川によるダミー変数 (1: 川の周辺, 0: それ以外)
NOX	$NO_{x}$の濃度
RM	住居の平均部屋数
AGE	1940 年より前に建てられた物件の割合
DIS	5 つのボストン市の雇用施設からの距離 (重み付け済)
RAD	環状高速道路へのアクセスしやすさ
TAX	$10,000 ドルあたりの不動産税率の総計
PTRATIO	町毎の児童と教師の比率
B	町毎の黒人 ($Bk$) の比率を次の式で表したもの。$1000(Bk – 0.63)^{2}$
LSTAT	給与の低い職業に従事する人口の割合 (%)

関係性をグラフにプロットする

　今回は犯罪発生数（CRIM)と家の価格の関係性を調べてみようと思います。
　まずは生データの関係性をプロットしてみます。

# 犯罪発生数CRIMを取り出す
crime=boston.data[:,0]

# 家の値段を取り出す
prices=boston.target

# 犯罪発生率と家の値段の関係性をプロットする。
plt.scatter(prices,crime)

　プロットした結果が下になります。
　$x$軸が家の値段、$y$軸が犯罪発生数ですね、なんだか反比例の傾向が見えそうですね。

最小二乗法を使って関係性を出してみよう

　まずは簡単な最小二乗法を使って、線形的な関係性を出してみます。

# 最小二乗法で誤差が最も少なくなる直線を得る
x = np.array([[v,1] for v in prices])
y = crime
(slope,bias), total_error, _, _ = np.linalg.lstsq(x, y)

　この結果、得られた直線をプロットしてみます。

# グラフを表示する
plt.scatter(prices,crime,color='r')
plt.plot(x[:, 0], slope * x[:, 0] + bias)
plt.xlabel('crime')
plt.ylabel('price')
plt.grid()
plt.show()

　おお、犯罪発生数の増加とともに家の価格が下がるのが表現できてます。
　これは直感と合致してますね。

　ただ、線形で表現するにはここまでが限界っぽいですね、
　反比例で表現するにはどうしたらいいのかな…？

　今回はここまで。