前回クラスを作ってマハラノビス分類をできるようにしましたので今回はScikit-Learn風にマハラノビスkNNに改良してみました。

マハラノビスk-NN

from collections import Counter
import numpy as np
import pandas as pd
from scipy.spatial import distance
class MahalanobisKNN:
    def __init__(self, k=3):
        self.k = k
        self.x_train = None
        self.y_train = None
        self.cov_i = None
    
    def fit(self, x_train, y_train):
        if isinstance(x_train, pd.DataFrame):
            x_train = x_train.values
        if isinstance(y_train, pd.Series):
            y_train = y_train.values
            
        self.x_train = x_train
        self.y_train = y_train
        cov = np.cov(x_train.T)
        self.cov_i = np.linalg.inv(cov)
    
    def predict(self, x_test):
        if isinstance(x_test, pd.DataFrame):
            x_test = x_test.values
            
        predictions = []
        for i in range(len(x_test)):
            distances = []
            for j in range(len(self.x_train)):
                d = distance.mahalanobis(x_test[i], self.x_train[j], self.cov_i)
                distances.append((self.y_train[j], d))
            distances = sorted(distances, key=lambda x: x[1])[:self.k]
            class_counts = Counter([label for label, _ in distances])
            predictions.append(class_counts.most_common(1)[0][0])
        return np.array(predictions)

で思いついたのが品質の教科書だったのでそのデータを使ってみます。

ロットをインデックスにして判定を目的変数にします。
(データが1レコード見切れています)

df.index = df["ロット"]
df = df.drop("ロット", axis=1)
df = df.replace("不適合", 0)
df = df.replace("適合", 1)
x = df.drop("判定", axis=1)
y = df["判定"]

hold-outで精度を測定します。

from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report

x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=1, test_size=0.2)

マハラノビスkNN

model = MahalanobisKNN(k=3)
model.fit(x_train, y_train)
y_pred = model.predict(x_test)
print(classification_report(y_test, y_pred))

              precision    recall  f1-score   support

           0       0.67      1.00      0.80         2
           1       1.00      0.50      0.67         2

    accuracy                           0.75         4
   macro avg       0.83      0.75      0.73         4
weighted avg       0.83      0.75      0.73         4

比較対象をLightGBMにしてみます。

from lightgbm import LGBMClassifier as LGBMC
model = LGBMC()
model.fit(x_train, y_train)
y_pred = model.predict(x_test)
print(classification_report(y_test, y_pred))

              precision    recall  f1-score   support

           0       0.50      1.00      0.67         2
           1       0.00      0.00      0.00         2

    accuracy                           0.50         4
   macro avg       0.25      0.50      0.33         4
weighted avg       0.25      0.50      0.33         4

意外と精度で勝った！

では今度はオープンデータでやってみます。
Wineデータではこうなりました。

LightGBM

              precision    recall  f1-score   support

           1       1.00      0.93      0.96        14
           2       0.93      1.00      0.96        13
           3       1.00      1.00      1.00         9

    accuracy                           0.97        36
   macro avg       0.98      0.98      0.98        36
weighted avg       0.97      0.97      0.97        36

マハラノビスkNN

              precision    recall  f1-score   support

           1       0.93      1.00      0.97        14
           2       0.92      0.92      0.92        13
           3       0.88      0.78      0.82         9

    accuracy                           0.92        36
   macro avg       0.91      0.90      0.90        36
weighted avg       0.92      0.92      0.91        36

オープンデータでは精度で負けました。