はじめに

乳がんは、世界中の女性にとって大きな問題となっており、早期発見が重要な要素です。
データから乳がんの診断を精度高く行うことができれば、診断の主観性の排除やコスト削減等のメリットがあります。
本記事では、乳がんデータセットを用いたデータ分析の一例について説明します。

概要

scikit-learn付属の乳がんのデータセットを使って、機械学習の教師あり（分類）を行います。
分析は、以下の手順で進めます。

ライブラリの読み込み
データセットの確認
複数のアルゴリズムを用いた精度比較
パラメータチューニングによる精度向上の検証

ライブラリの読み込み

今回比較に使用するモデルは、いずれもscikit-learnで提供されています。
いずれのパッケージもPyPIで公開されており、簡単にインストールすることが可能です。

import pandas as pd
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.ensemble import RandomForestClassifier
import optuna
import matplotlib.pyplot as plt
import seaborn as sns

データセットの確認

scikit-learnが公開しているデータは、sklearn.datasetsのメソッドを使って読み込むことができます。
今回使用する乳がんのデータセットは、ウィスコンシン大学の乳がん診断データセット(Wisconsin Diagnostic Breast Cancer, WDBC)と呼ばれています（参照）。
このデータセットは、乳がんの診断に関連する特徴量を持つ患者のデータを含んでいます。

# データの読み込み
data_breast_cancer = load_breast_cancer()

df_target = pd.DataFrame(data_breast_cancer["target"], columns=["target"])
df_data = pd.DataFrame(data_breast_cancer["data"], columns=data_breast_cancer["feature_names"])

特徴量のデータ型を確認します。

# 各columnのデータ型を表示
print(f'{df_data.dtypes} \n')

本データに含まれる特徴量は、いずれも連続値であることがわかります。
次に、統計量を確認します。

# データにおける、数値データの統計量を表示
display(df_data.describe())

続いて、各特徴量の分布及び相関を確認します。

# 特徴量の名前の取得
feature_names = data_breast_cancer.feature_names

# 特徴量の分布を可視化
plt.figure(figsize=(12, 24))
for i, feature in enumerate(feature_names):
    plt.subplot(10, 3, i + 1)
    sns.histplot(df_data[feature], kde=True)
    plt.title(feature)
plt.tight_layout()
plt.show()

# 特徴量間の相関を可視化
plt.figure(figsize=(10, 8))
sns.heatmap(df_data.corr(), cmap='coolwarm')
plt.title('Feature Correlation')
plt.show()

予測モデルの構築

ロジスティック回帰、サポートベクターマシン（SVM）、ランダムフォレストのモデルの精度を比較します。

X = data_breast_cancer.data
y = data_breast_cancer.target

# データを訓練用とテスト用に分割
X_train, X_test, y_train, y_test = train_test_split(df_data, df_target, test_size=0.3, random_state=1)

# 特徴量の正規化
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

# ロジスティック回帰
log_reg = LogisticRegression(random_state=1)
log_reg.fit(X_train, y_train)
log_reg_acc = cross_val_score(log_reg, X_train, y_train, cv=5).mean()

# サポートベクターマシン
svc = SVC(kernel='linear', C=1, random_state=1)
svc.fit(X_train, y_train)
svc_acc = cross_val_score(svc, X_train, y_train, cv=5).mean()

# ランダムフォレスト
rand_forest = RandomForestClassifier(random_state=1)
rand_forest.fit(X_train, y_train)
rand_forest_acc = cross_val_score(rand_forest, X_train, y_train, cv=5).mean()

print("Logistic Regression Accuracy: {:.2f}%".format(log_reg_acc * 100))
print("SVM Accuracy: {:.2f}%".format(svc_acc * 100))
print("Random Forest Accuracy: {:.2f}%".format(rand_forest_acc * 100))

Optunaによるパラメータチューニング

続いて、Optunaを用いてパラメータ最適化を行います。
Optunaを使うと、ベイズ最適化により、定義したハイパーパラメーターの範囲から最適なパラメータの組み合わせを探索することができます。

SVM

def objective_svm(trial):
    C = trial.suggest_loguniform('C', 1e-10, 1e10)
    gamma = trial.suggest_loguniform('gamma', 1e-10, 1e10)
    kernel = trial.suggest_categorical('kernel', ['linear', 'rbf', 'sigmoid'])
    clf = SVC(C=C, gamma=gamma, kernel=kernel)
    return cross_val_score(clf, X_train, y_train, 
                           n_jobs=-1, cv=5).mean()

study_svm = optuna.create_study(direction='maximize')
study_svm.optimize(objective_svm, n_trials=100)

best_params_svm = study_svm.best_params
best_accuracy_svm = study_svm.best_value

print("Best Parameters (SVM):", best_params_svm)
print("Best Accuracy (SVM):", best_accuracy_svm)

# Best Parameters (SVM): {'C': 1.2980731009141622, 'gamma': 0.00045010691978746915, 'kernel': 'linear'}
# Best Accuracy (SVM): 0.9824050632911392

Logistic Regression

def objective_logreg(trial):
    C = trial.suggest_loguniform('C', 1e-10, 1e10)
    max_iter = trial.suggest_int('max_iter', 100, 1000)
    clf = LogisticRegression(C=C, max_iter=max_iter)
    return cross_val_score(clf, X_train, y_train, 
                           n_jobs=-1, cv=5).mean()

study_logreg = optuna.create_study(direction='maximize')
study_logreg.optimize(objective_logreg, n_trials=100)

best_params_logreg = study_logreg.best_params
best_accuracy_logreg = study_logreg.best_value

print("Best Parameters (Logistic Regression):", best_params_logreg)
print("Best Accuracy (Logistic Regression):", best_accuracy_logreg)

Random Forest

def objective_rf(trial):
    n_estimators = trial.suggest_int('n_estimators', 100, 1000)
    max_depth = trial.suggest_int('max_depth', 5, 15)
    min_samples_split = trial.suggest_int('min_samples_split', 2, 10)
    random_state = trial.suggest_int('random_state', 0, 42)
    clf = RandomForestClassifier(n_estimators=n_estimators, max_depth=max_depth,
                                min_samples_split=min_samples_split, random_state=random_state)
    return cross_val_score(clf, X_train, y_train, 
                           n_jobs=-1, cv=5).mean()

study_rf = optuna.create_study(direction='maximize')
study_rf.optimize(objective_rf, n_trials=100)

best_params_rf = study_rf.best_params
best_accuracy_rf = study_rf.best_value

print("Best Parameters (Random Forest):", best_params_rf)
print("Best Accuracy (Random Forest):", best_accuracy_rf)

まとめ

精度評価を行った結果を表にまとめます。

アルゴリズム	Accuracy（パラメータチューニング無し）	Accuracy（パラメータチューニングあり）
SVM	0.9799	0.9824
Logistic Regression	0.9699	0.9774
Random Forest	0.9548	0.9623

アルゴリズムの中では、パラメータチューニングありのSVMが最も高い精度で乳がん患者を予測することができていました。
また、いずれのアルゴリズムにおいても、Optunaによるパラメータチューニングにより、Accuracyが向上することがわかりました。