D2CS：LLMの監督で文書グラフをクラスタリングする
一言でいうと：「文書をグラフにして Leiden でクラスタリング → 各クラスタを LLM で要約 → その要約と各文書の整合性を LLM に採点させ、その点数でグラフのエッジ重みを更新」を繰り返して、意味的に一貫したクラスタを作るフレームワーク。
論文情報
- タイトル：D2CS - Documents Graph Clustering using LLM supervision
- 著者：Yoel Ashkenazi, Yoram Louzoun ほか（Bar-Ilan大学 / Rafael）
- 会議：EMNLP 2025 Findings
- URL：https://aclanthology.org/2025.findings-emnlp.1283v1.pdf
- コード：https://github.com/D2CS-sub/D2CS
何を解こうとしているのか
- 従来のクラスタリングは「距離が近いものを集める」だけで、テーマ的な一貫性（thematic consistency）を保証しない。
- 「まずクラスタリング → 各クラスタを要約」という素朴な2段構えだと、クラスタが要約に対して意味的にまとまっていない。
- → 要約の品質を測る指標を作り、それをクラスタリングの改善にフィードバックする。
キーアイデア：クラスタリングと要約を「別々の工程」にせず、要約の良し悪しをクラスタリング改善の教師信号（supervision）として使う。ここが新規性。
パイプライン全体像
文書集合
│ 各文を埋め込み（← 文書＝文ベクトルの「袋」。つまずき①）
│ KDEで汎用すぎ/稀すぎる文を除去（上下7.5%）
▼
エネルギー距離で文書間の距離行列（← つまずき②③）
│ KNNグラフを構築（初期エッジ重み = 1）
▼
┌──────── 反復ループ（収束まで／通常2回）─────────┐
│ ① Leiden でクラスタリング │
│ ▼ │
│ ② 各クラスタの全テキストを連結 → LLMで要約→洗練 │
│ （← つまずき④） │
│ ▼ │
│ ③ 成功率 SR を計算（要約と各文書の整合をLLM採点） │
│ ▼ │
│ ④ エッジ重み更新（整合→×(1+λ)／不整合→×(1-λ)） │
└────────────────────────────────────────────────────┘
▼
クラスタごとの要約 ＋ 各種評価スコア
つまずき①：「集約せず分布を保持」＝次元削減の話ではない
これは次元を下げる/下げないの話ではない（各ベクトルは d 次元のまま）。問題は「1文書を何本のベクトルで表すか」。
- 普通のやり方（＝集約する）：文書全体を1本のベクトルにする。あるいは各文を埋め込んでから平均（mean pooling）で1本に潰す。→ 1文書 = 1ベクトル。
- D2CS（＝集約しない）：各文を個別に埋め込み、文書を「文ベクトルの集合（袋 / bag）」として持つ。平均で潰さない。順序も無視。→ 1文書 = 文の数だけベクトル。
普通（集約する）:
[文1][文2][文3] → 平均 → ● （1本に丸める）
D2CS（集約しない）:
[文1][文2][文3] → ● ● ● （3本の集合のまま = 袋）
やっていないこと＝「文ベクトルを平均で1本に丸めること」。
なぜ潰さないか：長文は複数の下位トピックをまたぐので、平均すると文書内の意味のばらつきが消える。集合のまま持てば「散らばっている／まとまっている」という情報が残る。さらに、後述のエネルギー距離は「集合どうしの距離」なので、そもそも袋表現でないと計算できない。
つまずき②：エネルギー距離とは何か
2つの分布（＝点の集まり）がどれだけ離れているかを測る統計的距離（Székely & Rizzo, 2013）。
- コサイン類似度：2本のベクトルの角度を見る。
- エネルギー距離：2つの雲（点群）そのものの距離を見る。→ つまずき①の「袋表現」とワンセット。
論文の式を言葉にすると：
D = 2 ×[ 雲i と 雲j をまたいだ点対の距離の平均 ] ← 2つの雲の間の距離
−[ 雲i の内部の点対の距離の平均 ] ← 雲i の内部の広がり
−[ 雲j の内部の点対の距離の平均 ] ← 雲j の内部の広がり
直感：「雲どうしの平均距離」から「各雲の内部の広がり」を引く。2つの雲がぴったり重なれば 0、離れているほど大きい。分布が完全に一致するときだけ 0 になる、ちゃんとした距離。
⚠️ 注意：論文は「エネルギー距離が最も一貫したクラスタを生んだ（we found to produce the most consistent clusters）」と書くだけで、他の距離との比較表を載せていない。ここでの "consistent" は後述の SR スコアのこと。つまり「実験的に一番良かった」という選択で、理論的な証明ではない。手法選択の根拠としてはやや弱い、というのは読むうえで押さえておくべき点。
つまずき③：エネルギー距離は「いつ」効くのか（深掘り）
ここが一番の落とし穴。エネルギー距離が効くかどうかを分けるのは、実は**「1文書が何トピックにまたがるか」**。
(a) 1文書 = 1文だと、コサインに縮退する
式に「集合の要素が1個（|Ti| = |Tj| = 1）」を代入すると、内部の広がり項が両方ゼロになり：
D = 2 ×||x_i − x_j|| （ただのユークリッド距離の2倍）
さらに埋め込みが単位ベクトル（L2正規化済み）なら、||x − y|| = √(2 − 2cosθ) でコサインの単調変換。→ 近傍の順位（誰と誰が近いか）はコサインと完全に一致する。つまり 1文書=1文なら、エネルギー距離に変えても得られるものはゼロ（計算コストだけ増える）。
(b) 文数が多くても、単一トピックなら効果は薄い
文が複数あっても、その文書が単一トピックなら文ベクトルの雲はタイトにまとまる → 内部の広がり項 ≈ 0 → エネルギー距離 ≈ 重心間の距離 ≈ コサイン。
エネルギー距離が本領を発揮するのは、文書内が多トピックで散らばっているとき。この論文が Wikipedia / Reuters（1文書あたり平均 10〜16 文、複数の下位トピックをまたぐ）で効いたのはそのため。
| 文書の性質 | エネルギー距離の効き目 |
|---|---|
| 1文・単一トピック | コサインに縮退（実質同じ、無意味） |
| 多文・単一トピック | ほぼコサイン（付加価値は弱い） |
| 多文・多トピック | 効く（分布の形・重なりまで捉える＝本領） |
ポイント：「エネルギー距離 vs コサイン」は競合ではなく、文書の長さ・異質性で棲み分ける。短く単一トピックな文書ならコサインで十分、長く多トピックな文書なら分布距離が活きる。
つまずき④：「各クラスタのテキストを連結」とは
あるクラスタ C に属する全ノード（全文書）の本文を連結し（プロンプト上は各テキストの間に <New Text> という区切りを入れる）、それを要約 LLM に渡して、クラスタごとに1つの要約 Csum を作る。
要約は2段構え：
- 要約：連結テキストを Cohere に投げて下書き要約を得る。
- 洗練（refinement）：下書きを別のプロンプトで Llama に投げ、「In this text…」のような曖昧な言い回しを除去して整える。
つまずき⑤：4つの品質指標（Relevancy / Coherence / Consistency / Fluency）
これは D2CS 独自ではなく、要約評価の標準指標 SummEval（Fabbri et al., 2021）の4軸。
| 軸 | 何を見るか | 低いとどうなる |
|---|---|---|
| Relevancy（関連性） | 元テキストの重要な情報を拾えているか | 大事な内容が漏れる／どうでもいい情報が混ざる |
| Coherence（一貫性・構成） | 文法・順序・全体の構造。要約全体がまとまって読めるか | 話が飛ぶ、構成がバラバラ |
| Consistency（事実整合性） | 元テキストにある事実だけか（捏造がないか） | 元にない事実をでっち上げる（ハルシネーション） |
| Fluency（流暢さ） | 1文レベルの読みやすさ・文の質 | 文がぎこちない、文法エラー |
紛らわしい2つ：
- Coherence vs Fluency：Coherence は「要約全体の構成・つながり」、Fluency は「個々の文の読みやすさ」。全体 vs 局所。
- Consistency は「事実が元と合っているか」で、内容の選び方（Relevancy）とは別物。
判定は誰がやるか：この論文では LLM を審判（LLM-as-judge） にして採点（スコアは 1〜100）。SummEval は「これらの軸は ROUGE より人間評価と相関が高い」と主張しており、それを引き継いでいる。
つまずき⑥：「バニラ（vanilla）」とは
英語の慣用句で「プレーンな／追加なしの基本版」（バニラアイス＝トッピングなし、から）。
ここでは D2CS の追加機能を全部オフにした1パス版を指す：
埋め込み → エネルギー距離 → KNNグラフ → Leiden → 要約 （ここで終わり）
オフにしている「トッピング」＝ ①反復的なエッジ重み更新、②prior edges（外部情報）、③（強い）KDEフィルタ。論文は「素の版でも SR は十分高い」と示したうえで、これらを足すと何が変わるかを検証していく。日本語でいう**「ベースライン設定」**とほぼ同義。
この論文の目玉：クラスタリング成功率 SR
D2CS が新しく作った、クラスタの一貫性を測る指標。各文書 i について：
-
Ai＝ 「自分が属するクラスタの要約」に、文書 i がどれだけ合うか（LLMスコア） -
Bi＝ 「同じ要約」に、ランダムに選んだ他クラスタの文書がどれだけ合うか -
SRi = 1 (Ai ≥ Bi のとき) / 0 (それ以外)を全文書で平均
自クラスタの要約
／ ＼
文書i ランダムな他文書j
（スコアAi） （スコアBi）
Ai ≥ Bi なら成功（SRi = 1）
→ 「要約は、外の文書より自分のクラスタの文書に強く結びつくべき」
コントラスティブ（対比的）な指標なのがミソ。「要約がそのクラスタの中身をちゃんと代表しているか」を、クラスタ外の文書との比較で測る。
エッジ重み更新（Algorithm 2）
反復ループの心臓部。SR の材料になった Ai, Bi を使って：
同じクラスタ内のエッジ (i, j) について：
もし Ai > Bi かつ Aj > Bj（両端とも要約と整合）:
wij ← wij × (1 + λ) # 結びつきを強める
それ以外:
wij ← wij × (1 − λ) # 結びつきを弱める
-
λはスケーリング係数。実験では λ = 0.5 が平均的にベスト。 - これを繰り返すと整合的な文書どうしが密なクリークになり、クラスタリングはだいたい2反復で収束。
- 副産物として、広告・プレースホルダ等の**「ジャンク」テキストを1クラスタに隔離**して他を浄化することもある。
主な実験結果
- 使用データ：20 Newsgroups、Reuters、Wikipedia（複数トピックをクローラで収集）、WhatsApp の中東政治投稿、キーワード別の100件要約セット×8。各グラフ約1000ノード。
- 反復で改善：バニラでも SR は高いが、反復で Fluency / Consistency が向上。約2反復で収束。
- 外部情報（prior edges）が効く：著者・キーワード・所属など内容に直結するエッジは全スコア改善。一方、Wikipedia のリンク（連想的なエッジ）は要約スコアを悪化させた。→「内容に紐づく既知の関係」が重要。
- KDEフィルタは一長一短：小データでは有意に改善（p<0.05）、大データ（Reuters）では悪化。専門コーパスでは稀な文が重要用語を含むため。→ 小規模データにのみ推奨。
- 純度（purity）比較：Newsgroups で階層的クラスタリング（0.06）を大きく上回る（0.44）。Reuters はわずかに劣る。
- 安定性：GPT / Claude / Cohere / Llama から2つ選ぶ16通りで高い一貫性（平均 Jaccard 0.81）。組み合わせによっては完全に同一クラスタ。
- 計算量：距離計算は O(n²) だが、要約が最も重い律速。現実的な規模では総コストは文書数に線形、数万件を超えると二乗的に。
限界
- LLM のバイアスがクラスタ結果に伝播しうる。
- 数万件規模はコンテキスト長・計算コストで困難。主な律速は「要約対象テキストの長さ」 → クラスタ粒度を上げる／最大サイズ制限で対応。
- クラスタリング＋要約を統合評価する標準ベンチマークが存在しないため、著者らは自前データセットをベンチマークとして提案。
この論文の面白いところ（所感）
- クラスタリングと要約を「別工程」ではなく、互いに改善しあう1つのループにした発想。
- 「クラスタが要約とどれだけ整合するか」という**新しい評価指標（SR）**を自作し、それを最適化のドライバにした。
- 人手フィードバックの代わりに LLM を審判に据えることで、半教師あり（semi-supervised）の枠組みをスケールさせた。
関連ノート
- [[leiden]] — コミュニティ検出（D2CS のクラスタリング本体）
- [[cosine-similarity]] — エネルギー距離との対比で理解すると良い
- [[embedding-vector]] — 文単位の埋め込み
- [[network-construction]] — KNNグラフ／閾値グラフの作り方