はじめに

k-meansを使って、有名なtitanicデータをクラスタリングしてみます。

特徴として、単純なアルゴリズムであることや連続変数を扱いやすいこと、統計的な手法でないこと（正規分布を仮定していたりしないこと）などが挙げられます。

titanicデータをk-meansでクラスタリング!

データ読み込み~クラスタの割り当て

# ライブラリをインポート
import seaborn as sns
import pandas as pd
import numpy as np

import matplotlib.pyplot as plt

from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler

import warnings
warnings.simplefilter(action='ignore', category=FutureWarning)

# Titanicデータセットをロード
titanic_df = sns.load_dataset('titanic')

# 今回使用する列のみ残す。またageには欠損があるので、dropna()を行う
titanic_df = titanic_df[['survived', 'age', 'fare']]
titanic_df = titanic_df.dropna()

# titanic_df.head()

# 特徴量を標準化
features = titanic_df[['age', 'fare']]
scaler = StandardScaler()
features_scaled = scaler.fit_transform(features)

# エルボー法で最適なクラスタ数を探す
sse = []  # 各kにおけるSSE（クラスタ内誤差平方和）を格納するリスト
for k in range(1, 11):
    kmeans = KMeans(n_clusters=k, random_state=123)
    kmeans.fit(features_scaled)
    sse.append(kmeans.inertia_)  # SSE（クラスタ内誤差平方和）をリストに追加

# SSEのプロット
plt.figure(figsize=(6, 4))
plt.plot(range(1, 11), sse, marker='o')
plt.title('Elbow Method')
plt.xlabel('Number of clusters')
plt.ylabel('SSE')
plt.show()

# K-meansクラスタリングを実行して、クラスタラベルを得る
kmeans = KMeans(n_clusters=3, random_state=123) # エルボー法より、k=3とする
clusters = kmeans.fit_predict(features_scaled)

titanic_df['cluster'] = clusters
#titanic_df.head()

#クラスタごとの平均を計算
titanic_df.groupby('cluster').agg('mean')

cluster	survived	age	fare
0	0.3968	21.1366	21.6443
1	0.7575	31.9672	222.8972
2	0.3750	45.1208	32.7964

クラスタごとの平均を計算すると、以下のようなことがわかります

cluster1の生存率が高い
- cluster1は運賃の平均がcluster0,2に比べて高い
cluster0,2の生存率はだいたい同じ

結果の可視化

# クラスタと生存状況に基づいて色分け
sns.scatterplot(x='age', y='fare', hue='cluster', data=titanic_df , palette=['red', 'blue', 'green'])

plt.title('K-means Clustering of Titanic Data - All Passengers')
plt.xlabel('Age')
plt.ylabel('Fare')

plt.xlim(0, 85)
plt.ylim(0, 550)

plt.show()

散布図によると、3つの群の特徴は、それぞれ以下の通りです。

Fare（運賃）の高い群
Fare（運賃）が低く、Age(年齢)の高い群
Fare（運賃）が低く、Age(年齢)の低い群

なお、生存群と非生存群とに分けた散布図を下にお示ししています。
これによると、生存群では非生存群に比べてcluster0の0~10歳の点が多いこと、非生存群では生存軍に比べてcluster2の30~50歳の点が多いことが見えてきます。

おわりに

最後までお読みいただきありがとうございました！

関連記事