今日のミッションは、自然言語で書かれたスタンド能力を sentence-transformers で embedding し、階層的クラスタリングすることッ！

スタンド能力

スタンド能力は、Wikipedia のページから取ってきた表を整形して使ったッ！

import pandas as pd

stand_df = pd.read_csv("./JoJoStands3.txt", delimiter="\t")
stand_df

	スタンド名	スタンド使い	スタンド能力
0	ザ・フール（愚者）	イギー	砂のスタンド。さまざまな形状に変化させることができる。
1	マジシャンズレッド（魔術師の赤）	モハメド・アヴドゥル	鳥人型のスタンド。炎を発生させ、自由自在に操る。また、炎を生物探知機のように使用することも可...
2	ハイプリエステス（女教皇）	ミドラー	遠隔操作型スタンド。様々な鉱物・無機物に変身できる。
3	エンプレス（女帝）	ネーナ	本体の血液を付着させた相手の肉に寄生する。食物を摂取することで成長する。
4	エンペラー（皇帝）	ホル・ホース	拳銃型のスタンド。弾丸も含めてスタンドであり、軌道を自由に操作できる。
5	ハイエロファントグリーン（法皇の緑）	花京院典明	遠隔操作型。紐状に変化するほか、強力な遠距離攻撃「エメラルドスプラッシュ」を放つ。相手の体内...
6	ラバーズ（恋人）	鋼入りのダン	小型の遠隔操作型スタンド。パワーはないが、極めて長い射程を持つ。他人の脳に進入し、本体の受け...
7	シルバーチャリオッツ（銀の戦車）	ジャン＝ピエール・ポルナレフ	騎士の姿をした近距離型スタンド。レイピアによる斬撃を繰り出す。甲冑を脱ぐことで、残像が発生す...
8	ストレングス（力）	フォーエバー	船と一体化したスタンド。一般人にも視認できる。船内の全ての物を自在に操る。
9	ハーミットパープル（隠者の紫）	ジョセフ・ジョースター	イバラのスタンド。遠隔透視、念写、読心、探索などを行える。イバラで敵を縛ったり、ワイヤーのよ...
10	ホウィール・オブ・フォーチュン（運命の車輪）	ズィー・ズィー	自動車と一体化し、怪物のような姿の車に変形させる。ストレングス同様、一般人にも視認できる。
11	ジャスティス（正義）	エンヤ婆	霧状のスタンド。幻覚を引き起こしたり、傷口から侵入して人間や死体を操る。
12	ハングドマン（吊られた男）	J・ガイル	光を反射する物体に写り込み、鏡像を攻撃することで実体にも同じダメージを与える。
13	デス・サーティーン（死神13）	マニッシュ・ボーイ	大鎌を持った死神の像を持つ。眠っている者の精神をスタンド能力で作った悪夢世界へ引き込む。相手...
14	イエローテンパランス（黄の節制）	ラバーソール	スライム状のスタンド。生物を取り込むほか、衝撃や熱などエネルギーを吸収する高い防御力を持つ。...
15	エボニーデビル（悪魔）	呪いのデーボ	本体の受けた恨みをパワーに変え、人形に取り憑いて操る。本来ならスタンドを傷つけられない通常の...
16	タワー・オブ・グレー（灰の塔）	グレーフライ	クワガタムシの像を持つ小型のスタンド。スタープラチナですら掴めないほどの凄まじい速さで飛行する。
17	スタープラチナ（星の白金）	空条承太郎	近距離パワー型スタンド。パワー、スピード、精密動作性の全てに優れる。Part3終盤で時を止め...
18	ダークブルームーン（暗青の月）	偽キャプテン・テニール	水中戦を得意とする、半魚人のようなスタンド。フジツボを相手に付着させることでエネルギーを吸い取る。
19	サン（太陽）	アラビア・ファッツ	太陽そのものの像を持つスタンド。摂氏70℃以上の高温やレーザーで攻撃する。夜間であっても極め...
20	ジャッジメント（審判）	カメオ	相手から聞き出した願望を土に投影して実体化させ、操ることができる。
21	ザ・ワールド（世界）	DIO	近距離パワー型スタンド。圧倒的なパワーとスピード、精密動作性に加え、時を止める能力を持つ。時...
22	オシリス神	ダニエル・J・ダービー	「賭け」に負けた者の魂を奪い、コイン状に変える。
23	ホルス神	ペット・ショップ	冷気を操るスタンド。湖を一瞬で凍結させるほどの強いスタンドパワーを持つ。
24	ゲブ神	ンドゥール	水と同化した遠隔操作型スタンド。射程距離が極めて長い。液体状の像を自由自在に操り、ウォーター...
25	バステト女神	マライア	コンセント型の像を出現させ、触れた人間に強力な磁力を帯びさせる。
26	セト神	アレッシー	本体の影と同化したスタンド。影に触れた相手を若返らせる（胎児にまで変えられる）。知能も比例し...
27	クヌム神	オインゴ	本体と一体化したスタンド。自分の顔や姿を、体臭・指紋・声帯まで他人そっくりに変える。
28	トト神	ボインゴ	本体の所持する本と同化したスタンド。極めて近い未来を予言し、漫画の形で本に浮かび上がらせる。...
29	アヌビス神	キャラバン・サライ	実物の刀に自我を持つスタンドが乗り移った特殊な状態で、柄に触れた者の精神を乗っ取る。物体を透...
30	アトゥム神	テレンス・T・ダービー	YES・NO形式で相手の心を読む。また、「賭け」に負けた者の魂を奪い、人形に封じ込める。
31	クリーム	ヴァニラ・アイス	口内に暗黒空間を持ち、暗黒空間に触れた全てのものを消滅させる。本体を暗黒空間に隠すこともでき...
32	ティナー・サックス	ケニーG	像の有無は不明。現実感のある幻覚を見せる。

参考資料

こちらの資料を参考にしました。ありがとうございました。

必要なライブラリのインストール

!pip install sentence-transformers
!pip install japanize-matplotlib

sentence-transformers の利用

from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer("stsb-xlm-r-multilingual")

スタンド能力のデータの読み込み

stand_df3 = pd.read_csv("./JoJoStands3.txt", delimiter="\t")
embeddings3 = model.encode(stand_df3["スタンド能力"], convert_to_tensor=True)
embeddings3.shape

torch.Size([33, 768])

stand_df4 = pd.read_csv("./JoJoStands4.txt", delimiter="\t")
embeddings4 = model.encode(stand_df4["スタンド能力"], convert_to_tensor=True)
embeddings4.shape

torch.Size([28, 768])

stand_df5 = pd.read_csv("./JoJoStands5.txt", delimiter="\t")
embeddings5 = model.encode(stand_df5["スタンド能力"], convert_to_tensor=True)
embeddings5.shape

torch.Size([27, 768])

stand_df6 = pd.read_csv("./JoJoStands6.txt", delimiter="\t")
embeddings6 = model.encode(stand_df6["スタンド能力"], convert_to_tensor=True)
embeddings6.shape

torch.Size([25, 768])

stand_df7 = pd.read_csv("./JoJoStands7.txt", delimiter="\t")
embeddings7 = model.encode(stand_df7["スタンド能力"], convert_to_tensor=True)
embeddings7.shape

torch.Size([27, 768])

stand_df8 = pd.read_csv("./JoJoStands8.txt", delimiter="\t")
embeddings8 = model.encode(stand_df8["スタンド能力"], convert_to_tensor=True)
embeddings8.shape

torch.Size([30, 768])

スタンド能力を embedding するッ！

スタンド能力を embedding するのは、ひょっとしたらホワイトスネイクの能力かもしれない。

import numpy as np

all_embeddings = np.concatenate(
    [
        e.cpu().numpy()
        for e in [
            embeddings3,
            embeddings4,
            embeddings5,
            embeddings6,
            embeddings7,
            embeddings8,
        ]
    ]
)
all_embeddings.shape

(170, 768)

階層的クラスタリング

近い能力を持ったスタンドが近くに来るように階層的クラスタリングを行った。

import japanize_matplotlib
import matplotlib.pyplot as plt
from scipy.cluster.hierarchy import dendrogram, linkage

result1 = linkage(all_embeddings, metric="cosine", method="weighted")
plt.figure(figsize=(4, 32))
dendrogram(
    result1,
    orientation="right",
    labels=pd.concat(
        [
            stand_df3,
            stand_df4,
            stand_df5,
            stand_df6,
            stand_df7,
            stand_df8,
        ]
    )["スタンド名"].values,
    color_threshold=0.5,
)
plt.title("Dedrogram")
plt.xlabel("Threshold")
plt.grid()
plt.show()

なるほど、完璧な結果っすねーーッ！ところどころ意味不明な結果になってるところに目をつぶればよーッ！