GPTが文章をどう扱っているか

GPT は文章をそのまま扱うのではなく、
文章 → 数千次元ベクトルに変換して内部で比較する。

現状OpenAI Embeddingでベクトル化できる次元数は1536次元と3072次元の２つがある。

このベクトル同士の「近さ」を判断するためにコサイン類似度を利用する。

コサイン類似度

ベクトル同士の角度を使って「どれくらい似ているか」を測る方法

同じ方向（0°） → 類似度 1.0
直角（90°） → 類似度 0
逆方向（180°） → 類似度 -1.0

図で見ると

         A →
         B →

A →
↑
B

A →
← B

ベクトル A = (x1, y1)
ベクトル B = (x2, y2)

内積の計算

① A・B = （x1 * x2） + （y1 * y2）

ベクトルの長さ（2乗をして平方根を取ることで、0以上の値にしている）

|A| = √(x1^2 + y1^2)
|B| = √(x2^2 + y2^2)

② |A| × |B|

③ コサイン類似度の公式

cosθ = ① ÷ ②

ベクトル A = (1, 0)
ベクトル B = (0, 1)

A →
↑
B

内積

1*0 + 0*1 = 0

長さ

|A| = 1
|B| = 1

類似度

0 ÷ (1×1) = 0

つまり、似ていない（類似度 0）

A = (1, 1)
B = (1, 1)

内積

1*1 + 1*1 = 2

長さ

|A| = √2
|B| = √2

類似度

2 ÷ 2 = 1

→ 完全に同じ方向 = 類似度 1.0

これを使って

を可能にする。

距離だと「文章の長さの違い」に影響される。

コサイン類似度は方向だけを見る

これがGPTでよく使われる理由。

今回は2次元の計算を行ったが、GPTで行う場合は次元の数（1536次元か3072次元）だけ内積と長さの計算を繰り返す。