1. Confusion matrix（混同行列）とは？
Confusion matrix（混同行列）は、機械学習においては、構築したモデルの性能を評価する手段のひとつである。
Confusion matrixは、4つの要素から構成される。
| 要素 | 意味 |
|---|---|
| True Positive | 実際にポジティブで、モデルもポジティブと予測したもの |
| True Negative | 実際にネガティブで、モデルもネガティブと予測したもの |
| False Positive | 実際にはネガティブだが、モデルがポジティブと予測したもの |
| False Negative | 実際にはポジティブだが、モデルがネガティブと予測したもの |
2. PythonでConfusion matrixを作成するには？
2.1. サンプルデータの読み込み
今回はScikit-learnにて入手可能なデータセットから「Breast Cancer Wisconsin」を使用する。
# 必要なライブラリのインポート
from sklearn.datasets import load_breast_cancer
import pandas as pd
# Breast Cancer Wisconsinデータセットの読み込み
breast_cancer = load_breast_cancer()
# 特徴量データをDataFrameに変換
df = pd.DataFrame(breast_cancer.data, columns=breast_cancer.feature_names)
# 目的変数（ターゲット）をDataFrameに追加
df['diagnosis'] = breast_cancer.target
# 説明変数と目的変数を分ける
X = df.drop('diagnosis', axis=1)
y = df['diagnosis']
from sklearn.model_selection import train_test_split
# データをトレーニングセットとテストセットに分割
X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2, stratify=df['diagnosis'], random_state=42)
from sklearn.ensemble import RandomForestClassifier
# モデルの訓練
model = RandomForestClassifier()
model.fit(X_train, y_train)
# 予測
y_pred = model.predict(X_val)
2.2. Confusion matrixの作成
上記の結果に基づいてConfusion matrixを作成する。
2.2.1. Confusion matrix作成のシンプルなコード
from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay
# Confusion matrixの生成
cm = confusion_matrix(y_val, y_pred)
# Confusion matrixの表示
disp = ConfusionMatrixDisplay(confusion_matrix=cm)
disp.plot(cmap=plt.cm.Blues)
# X軸ラベル、Y軸ラベル、タイトルの追加
plt.xlabel('Predicted')
plt.ylabel('Actual')
plt.title('Confusion Matrix')
# Confusion matrixの表示
plt.show()
結果を提示する際に、このままでに使用することは可能であるが、通常は各区画のパーセンテージを行の合計に対する割合で示すことが一般的である。
2.2.2. パーセンテージも表示するには？
ConfusionMatrixDisplayは、scikit-learnライブラリに含まれるクラスで、Confusion matrixを簡単に視覚化するための便利な方法だが、パーセンテージを表示する機能は備わっていない。
そこで、要素数から割合を計算し、その結果をConfusion Matrixに追加する。
from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay
import numpy as np
# 混同行列の生成
cm = confusion_matrix(y_val, y_pred)
# Confusion matrixの表示
disp = ConfusionMatrixDisplay(confusion_matrix=cm)
disp.plot(cmap=plt.cm.Blues)
# 描画された数値テキストを非表示にする。
# 下記コードを書いておかないとConfusionMatrixDisplay本来の数値が表示されてしまう。
for text in disp.ax_.texts:
text.set_visible(False)
# 各区画に要素数とパーセンテージを表示（行ごとの合計に対する割合）
for (i, j), val in np.ndenumerate(cm): # 混同行列の各要素をインデックス（i, j）と値（val）として列挙
row_sum = np.sum(cm[i, :]) # 混同行列の行iの合計を計算
percentage = val / row_sum * 100 # 要素数を行の合計で割ってパーセンテージを計算
color = 'white' if cm[i, j] > np.max(cm) / 2 else 'black' # 区画の値が最大値の半分を超える場合は白、そうでない場合は黒で文字を表示
plt.text(j, i, f'{val}\n({percentage:.2f}%)', ha='center', va='center', color=color, fontsize=12) # 各区画に要素数とパーセンテージを表示。テキストを中央に配置し、フォントサイズは12に設定。
# X軸ラベル、Y軸ラベル、タイトルの追加
plt.xlabel('Predicted')
plt.ylabel('Actual')
plt.title('Confusion Matrix')
# Confusion matrixの表示
plt.show()
各要素数とパーセンテージを表示したConfusion matrixを作成することができた。