【特訓 ver.4】ロジスティック回帰スタート！！
※この記事ではロジスティック回帰分析についてまとめます

▼学習の流れ

まずはロジスティック回帰分析の基本を押さえ、具体的な問題を通して理解を深める。

■使用するデータ
握力測定に関するデータ
（実際の握力測定なしに、身長の値を用いて学生の握力分類を行う）

※データセット：後日

■ ロジスティック回帰分析について学習する
大まかな流れ）
① データ読み込みや前処理、分割
　- 質的変数は用いることができない

② モデルの設定と訓練
　- 「ロジスティック回帰分析」で実施する

③ モデルの精度の確認
　- 精度について、以下6項目で確認していく

分類における「学習モデルの性能評価」について確認していく！
(1) 混同行列（confusion matrix）
(2) 正解率（accuracy）
(3) 適合率（precision）
(4) 再現率（recall）
(5) F1スコア（F1-score）
(6) AUC（曲線下面積）

▼練習問題

年齢、年収によってある商品を購入したかどうかでロジスティック回帰分析を行う。

▼復習

・単回帰分析の場合は、1次関数のような関係の場合に利用。すなわち、xに応じてyも比例するような際に利用をする。
　

・今まで学習してきた回帰分析は、
　▪ 単回帰分析・・・ 1つの入力データを使って値を予測する手法
　例：身長のデータを使って体重を予測

　▪ 重回帰分析・・・ 2つ以上の入力データを使って値を予測する手法
　例：身長と体脂肪率を使って体重を予測

すなわち、入れる値に応じて、結果が定量的に出てくるものを求めるときに有効であった。

では、結果が2択になるケースではどうするか。例） ◯か×か、合格か不合格か、など

以下、テストの点数（横軸）に応じて、合否（縦軸）を算出するようなものを出している。合格は1、不合格は0として表示。
　

こちらのプロットした値に対して、回帰分析をすると赤線のグラフが得られると考えられる。
　

違和感しかない・・・。
この赤色の直線を元に、テストの点数が「50点」「70点」で結果を出力した場合には、それぞれ「0.35」「0.63」と出力された。本来は、1 or 0（合格or不合格）で表示して欲しいのに、このような微妙な数字で出されても判断ができない。

こういった場合には、ロジスティック回帰分析を利用する。

▼ロジスティック回帰分析とは？

いくつかの要因（説明変数）から「2値の結果（目的変数）」が起こる確率を説明・予測することができる統計手法のこと。

単回帰、重回帰との違いも踏まえながらまとめると以下のようになる。
目的変数が2択（質的変数）になるものは、基本的にロジスティック回帰分析を用いるという認識でよさそう。
　

もう少し具体的に。

目的変数が質的なのか量的なのかで使い分ける。
ロジスティック回帰分析では確率（ 0 or 1 ）を求めたいので、重回帰などは適さない。

それでは実際に使ってみよう！！

【ロジスティック回帰分析】

大まかな流れ
① データ読み込みや前処理、分割
　- 質的変数は用いることができない

② モデルの設定と訓練
　- 「ロジスティック回帰分析」で実施する

③ モデルの精度の確認
　- 精度について、以下6項目で確認していく
　　(1) 混同行列（confusion matrix）
　　(2) 正解率（accuracy）
　　(3) 適合率（precision）
　　(4) 再現率（recall）
　　(5) F1スコア（F1-score）
　　(6) AUC（曲線下面積）

① データ読み込みや前処理、分割

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# データの読み込み
df = pd.read_csv("/content/akuryoku.csv")
df.head()

〔説明変数〕
・sex（性別）、age（年齢）、ht(身長)、wt（体重）、BMIの5つを用いる
・sexは0、1に変更する

〔目的変数〕
・grclass・・・1=握力強い、0=握力弱い

#質的変数を量的変数に変換
df['sex'] = df['sex'].replace({'M': 1, 'F': 0})

#説明変数と目的変数に分ける
x = df[["sex","age","ht","wt","BMI"]].values
y = df["grclass"].values

#データを学習用と検証用に分割
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test = train_test_split(
    x,y,train_size=0.7,random_state=0)

#標準化
from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
x_train_std = sc.fit_transform(x_train)
x_test_std = sc.transform(x_test)

データの準備完了！

② モデルの設定と訓練

from sklearn.linear_model import LogisticRegression
model = LogisticRegression()
model.fit(x_train_std,y_train)

print(f"切片は {model.intercept_}")
print(f"傾きは {model.coef_}")

ロジスティック回帰分析の式：
- デフォルト
  - 　
- 今回の場合は、

以下の条件を持つ(x)に対する、握力分類(y)を予測してみる。

性別：男性（1）
年齢：30歳
身長：175 cm
体重：70 kg
BMI：22.9

# 予測用データを作成して標準化
x_new = pd.DataFrame([[1, 30, 175, 70, 22.9]], columns=["sex", "age", "ht", "wt", "BMI"])
x_new_std = sc.transform(x_new)

# 予測実行
y_pred = model.predict(x_new_std)
print("予測されたgrclass:", y_pred[0])

③ モデルの精度を確認

(1) 混同行列（confusion matrix）

from sklearn.metrics import confusion_matrix
print("confusion_matrix =")
print(confusion_matrix(y_true=y_test,y_pred=model.predict(x_test_std)))

※y_true　=　y_test
※y_pred　=　model.predict(x_test_std))
　↑ 正解データ＝ y_test 、
　　予測データ＝ model.predict( )で定義付け

【結果】
　

※ 参照

青丸が正しく判定できた数になる。
総合的に「偽」が少ない方が、精度は高い。

(2) 正解率（accuracy）

print("正解率(train) =", model.score(x_train_std, y_train))
print("正解率(test) =", model.score(x_test_std, y_test))

【結果】
　

(3) 適合率（precision）

from sklearn.metrics import precision_score
print("precision =",precision_score(y_true=y_test,y_pred=model.predict(x_test_std)))

【結果】
　

(4) 再現率（recall）

from sklearn.metrics import recall_score
print("recall =",recall_score(y_true=y_test,y_pred=model.predict(x_test_std)))

【結果】
　

(5) F1スコア（F1-score）

from sklearn.metrics import f1_score
print("f1 score =",f1_score(y_true=y_test,y_pred=model.predict(x_test_std)))

【結果】
　

ここまでの内容を簡単にまとめると・・・

項目	説明	値
(1)混同行列（confusion matrix）	予測の正誤を表す表。	[[129, 11], [24, 109]]
(2)-1 正解率（train）	訓練データにおける正解率。	0.8711
(2)-2 正解率（test）	テストデータにおける正解率。	0.8718
(3) 適合率（precision）	正と予測したものの正確さ。	0.9083
(4) 再現率（recall）	実際の正をどれだけ捉えたか。	0.8195
(5) F1スコア（F1-score）	適合率と再現率の調和平均。	0.8617

(6) AUC（曲線下面積）

AUCスコア（Area Under the Curve）は、ROC曲線（Receiver Operating Characteristic Curve）の下の面積を指す。このスコアは0から1までの値を取り、1に近いほどモデルの性能が良いことを示す。

from sklearn.metrics import roc_auc_score
print("auc =",roc_auc_score(y_true=y_test,
                            y_score=model.predict_proba(x_test_std)[:,1]))

※y_true　=　y_test
※y_score　=　model.predict_proba(x_test_std)[:,1]
　↑ 正解データ＝ y_test 、
　スコアデータ＝ model.predict_proba(x_test_std)[:,1]で定義付け

何をしている？
テストデータから各データが特定のクラス（握力が強いか）に属する確率を計算。

どうやっているのか？
model.predict_proba(x_test_std) はテストデータの各サンプルのクラス確率を計算。 [:,1]は「1」クラス（握力が強い）の確率を抽出。これにより、サンプルが「握力が強い」とされる確信度を示す。

簡単な例で考えてみる
例えば、テストデータに10人の実験者がいる。モデルは各人の「握力が強い」確率を計算し、model.predict_proba(x_test_std)[:,1] でそれをリスト化。数値0.8が出れば、その人の握力が強い確率は80％と予測される。

【結果】
　

94%と高い精度が出ている。つまり、このモデルが「この人の握力は強い」と判断した場合、その予測は信頼できると言える。

※参照：ROC曲線も可視化してみる

from sklearn.metrics import roc_curve, auc

# モデルが予測した「握力が強い」確率を取得
y_score = model.predict_proba(x_test_std)[:, 1]

# ROC曲線のデータを計算（実際のラベルと予測確率を使って）
fpr, tpr, thresholds = roc_curve(y_true=y_test, y_score=y_score)

# ROC曲線をプロット
plt.plot(fpr, tpr, label="ROC curve (area = %0.2f)" % auc(fpr, tpr))

# ランダムな予測の場合の線をプロット（対角線）
plt.plot([0, 1], [0, 1], linestyle="--", label="Random")

# 理想的な予測の場合の線をプロット（階段形）
plt.plot([0, 0, 1], [0, 1, 1], linestyle="--", label="Ideal")

plt.legend()
plt.show()

青　：ROC曲線（これの下の面積がAUC）、面積が大きいほど正確
緑　：理想値　黄色：適当な値
※緑、黄色の線は、指標として書いておくことが多い。
※横軸：偽陽性率（FP率）、縦軸：真陽性率（TP率）

それでは、練習問題に行ってみよー！！

【練習問題】年齢、年収によってある商品を購入したかどうか

以下、3ステップを意識して実施。
① データ読み込みや前処理、分割
　- 質的変数は用いることができない

② モデルの設定と訓練
　- 「ロジスティック回帰分析」で実施する

③ モデルの精度の確認
　- 精度について、以下6項目で確認していく
　　(1) 混同行列（confusion matrix）
　　(2) 正解率（accuracy）
　　(3) 適合率（precision）
　　(4) 再現率（recall）
　　(5) F1スコア（F1-score）
　　(6) AUC（曲線下面積）

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import confusion_matrix, precision_score, recall_score, f1_score, roc_auc_score

# データの読み込み
df = pd.read_csv("/content/Social_Network_Ads.csv")
print(df.head())

# 必要なデータの抽出
x = df[["Age", "EstimatedSalary"]].values
y = df["Purchased"].values

# データを学習用と検証用に分割
x_train, x_test, y_train, y_test = train_test_split(x, y, train_size=0.7, random_state=0)

# データの標準化
sc = StandardScaler()
x_train_std = sc.fit_transform(x_train)
x_test_std = sc.transform(x_test)

# ロジスティック回帰モデルの訓練
model = LogisticRegression()
model.fit(x_train_std, y_train)

# モデルのパラメータ表示
print(f"切片は {model.intercept_}")
print(f"傾きは {model.coef_}")

# 混同行列の出力
print("Confusion Matrix:")
print(confusion_matrix(y_true=y_test, y_pred=model.predict(x_test_std)))

# 性能指標の計算と表示
print("正解率(train) =", model.score(x_train_std, y_train))
print("正解率(test) =", model.score(x_test_std, y_test))
print("適合率 =", precision_score(y_true=y_test, y_pred=model.predict(x_test_std)))
print("再現率 =", recall_score(y_true=y_test, y_pred=model.predict(x_test_std)))
print("F1スコア =", f1_score(y_true=y_test, y_pred=model.predict(x_test_std)))
print("AUC =", roc_auc_score(y_true=y_test, y_score=model.predict_proba(x_test_std)[:, 1]))

▼ 傾きと切片（ロジスティック回帰式）
切片は [-0.998508]
傾きは [[2.08013198 1.06134466]]

▼ 回帰式の精度を確認
　(1) 混同行列（confusion matrix）
　(2) 正解率（accuracy）
　(3) 適合率（precision）
　(4) 再現率（recall）
　(5) F1スコア（F1-score）
　(6) AUC（曲線下面積）

テストデータにおける正解率は約87%で、AUCスコアは約0.95と非常に高い性能を示した。モデルの適合率も高い一方で、再現率は約73%と伸び代がある。実際の現場で活用する際には、追加のデータ収集、特徴量エンジニアリング、異なるアルゴリズムの試行、ハイパーパラメータの最適化などで精度を上げていく必要がありそう。

以上。
続いては、 SVM分析へGO！！！