Wave-Based Semantic Memory
背景
意味検索では、多くのシステムがembeddingを保存し、cosine similarityによって検索対象との距離を測ってきた。
この方式は高速で計算資源の節約にも優れる。しかし以下の問題がある。
- 意味が持つ否定や強調といった変化が数値空間上で潰れる
- not happy が happy の近くに配置され、極性が区別されにくい
- 文脈変化を方向ベクトルだけで表すため、意味操作が失われる
この問題に対し、本研究は次の視点を導入する。
意味は点ではなく、揺らぎ（波）として扱う方が、言語的差異を適切に表現できる。
提案手法 Wave-Based Semantic Memory は、埋め込みを複素数の波に変換し、
波同士の干渉の強さを用いて類似度を評価する。
これにより、従来埋もれていた「否定の効果」「強弱の差」「文脈シフト」を数値として表現できる。
提案手法
Wave-Based Semantic Memory の中心は、WavePattern 表現と Resonance Score による検索で成立している。
WavePattern の全体像
埋め込みベクトルの各次元 (x) を以下の複素波形として扱う。
$\psi(x) = A(x)e^{i\phi(x)}$
- Amplitude (A(x)) : 意味の強さ
- Phase (ϕ(x)) : 文脈や極性の方向性
図1：WavePattern Schema（page 2）
- 上段：Amplitude（意味の強度）
- 中段：Phase（否定や文脈のずれを示す）
- 下段：両者を合わせた複素平面上での波形
注目点
- 従来の実数ベクトルが無視していた符号や意味操作を、そのまま状態として保持できる
- “not” の効果は、位相の反転として自然に定義できる
- 意味間の差は「距離」ではなく「波の重ね合い」の強さで決まる
Resonance-Based Retrieval
提案手法は、二つの波形がどれだけ強く共鳴（干渉）するかで意味の近さを評価する。
$S(\psi_1, \psi_2) =
\frac{1}{2}
\cdot
\frac{\sum_x \left|\psi_1(x) + \psi_2(x)\right|^2}
{\sum_x \left(|\psi_1(x)|^2 + |\psi_2(x)|^2 \right)}
\cdot R$
ここで (R) は強度バランスの調整項。
直感的には次のように解釈できる。
- 位相一致 → 強く重なる → 高スコア
- 位相反転 → 打ち消し合う → 低スコア
図2：位相差と共鳴強度の関係（page 3）
- 位相差 δ が 0 → 共鳴が最大
- 位相差 δ が π → 共鳴が最小
注目点
- cosine similarity では反意語を分離できない
- resonance では否定・逆方向性を強く区別できる
- 「真逆」が数学的に自然に現れる
実験結果
提案手法は 否定（NEG）、文脈シフト（SHIFT）、**強調/弱化（INT_UP / INT_DOWN）**を加えた語群を対象に比較を行った。
比較対象は cosine similarity。
図3：距離分布比較（Figure 4, page 4）
- 各操作語の距離分布を示すヒストグラム
- 左が cosine、右が resonance
注目点
- cosine は全てが同程度の距離 → 意味操作の違いを区別できていない
- resonance は操作ごとに帯域が分離 → 否定と強調を識別可能
- NEG が最も離れ、SHIFT が中間に位置する
- 人間が感じる意味差と整合
図4：語群の構造比較（Figure 5, page 5）
- 語間距離のヒートマップ
- cosine（左）は一様
- resonance（右）はブロック構造が出現
注目点
- 意味操作ごとに固有の群が生まれる
- 逆位相語が独立した領域を形成
- 分類や検索が行いやすい空間が得られる
従来手法との違い（まとめ）
| 観点 | cosine similarity | resonance-based retrieval |
|---|---|---|
| 表現単位 | 実数ベクトル | 複素数波形 |
| 否定（極性） | 区別困難 | 位相反転で明確 |
| 強弱 | 距離変化に埋没 | 振幅で直接表現 |
| 文脈変調 | 捉えにくい | 位相差で表現可能 |
| 類似度定義 | 幾何的距離 | 干渉エネルギー |
論文に基づく今後の展望
- 実装は CPU 完結で動作し、今後 SIMD により高速化可能
- RAG（検索拡張生成）との統合で効果が期待できる
- 位相推定手法の改善により精度向上が見込まれる