0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

『坊っちゃん』でゼロから作って理解するGraphRAG:自作実装からMicrosoft GraphRAGとの3方式比較まで

0
Posted at

はじめに

「GraphRAG は普通の RAG(Vector RAG)より賢いらしい」──そう聞いて仕組みを調べ始めると、知識グラフ・エンティティ抽出・コミュニティ検出・Local/Global Search など多くの概念が登場します。しかし、最初から公式フレームワークを動かして結果だけを眺めても、「なぜそれが必要なのか」「どこで失敗するのか」はなかなか実感できません。

そこで本記事では、夏目漱石の『坊っちゃん』(全11章・265,906 バイト)を題材に、まず最小の自作 GraphRAG をゼロから段階的に作ってその限界を実測し、そのうえで公式の Microsoft GraphRAG(v3.3.0)を動かして3方式を比較した全記録を、そのまま追体験できる形でまとめます。

この記事の前提と範囲

  • 使用モデル・共通設定:回答・抽出・要約はすべて google/gemini-2.5-flash(temperature=0.0)、埋め込みは openai/text-embedding-3-small(1536次元)を OpenRouter 経由で使用。
  • 評価対象:単一作品(『坊っちゃん』)に対する自作15問(5分類×3問)。小規模実験であり、大規模コーパスや他分野への統計的一般化は対象外です。

1. 問い:なぜ普通のベクトル検索だけでは足りないのか

長編小説や複雑な社内ドキュメントで Vector RAG を動かすと、大きく2つの壁にぶつかります。

  1. 言い回しや別名が違うと結び付かない壁
    たとえば『坊っちゃん』では、「うらなり」「古賀先生」「延岡へ転任した英語教師」は同一人物を指し、「マドンナ」「遠山のお嬢さん」も同じ人物です。質問文に「うらなり」としか書かれていないとき、本文中の「古賀」と書かれた段落を文章の類似度だけで引き当てるのは簡単ではありません。
  2. 作品全体を俯瞰する質問に弱い壁
    「清は物語全体を通して坊っちゃんをどう見ているか」「赤シャツの偽善性はどこに表れているか」のように、特定の1場面ではなく作品全体の構造を問う質問では、上位5〜6チャンクを切り出してプロンプトに貼るだけでは情報が欠落します。

この2つの壁が実際にどの程度起きるのか、そしてグラフ探索やコミュニティ要約でどこまで越えられるのかを、コード・グラフ図・実測値で追体験していきます。


2. 公平に比べるための評価設計:LLMは『坊っちゃん』を知っている

実験を始める前に、1つ重要な罠を潰しておく必要があります。それは「LLM がそもそも『坊っちゃん』のあらすじを事前学習で知っている」という点です。

たとえば「職員のあだ名をすべて挙げよ」という質問(Q01)は、検索が完全に失敗しても LLM が事前知識だけで答えられてしまいます。そこで本実験では、回答の流暢さだけでなく「正解の根拠チャンクを実際に検索して LLM に渡せたか(overlap_inclusive_recall)」と「渡された本文だけに基づく忠実さ・出典・回答保留」を分けて採点しました。

評価質問は以下の 5分類×3問=全15問(調整用 tuning 5問 + 未知の最終評価用 final 10問)です。

分類 質問数 ねらい
entity_fact 3 単一〜少数の箇所に書かれた具体的事実・数値(あだ名一覧、600円、月給25円・家賃6円)
multi_hop_relation 3 人物の別名や複数の出来事をまたぐ関係(マドンナをめぐる三角関係など)
timeline_causality 3 宿の変遷や騒動の時系列・因果関係
global_interpretation 3 作品全体の人物像・テーマ(清の愛情、赤シャツの偽善性、帰京の理由)
unanswerable 3 本文に書かれていない事柄(中学校の正式校名、延岡到着後の生活など)を「分からない」と保留できるか

3. 自作 GraphRAG をゼロから作る

公式版を触る前に、最小構成の自作 GraphRAG を4ステップで作りました。

Step 1:原文の位置へ戻れるチャンク分割

まず bocchan.txt(SHA-256: bf8fcebf...995db)を、章や文の途中で切れないように 全78チャンク(目標 1,200 文字・1文重複)に分割しました。各チャンクは bocchan_ch01_c001 のようなIDと、原文中の文字範囲 [start_char, end_char) を保持します。これにより、LLM が引用した文が本当に原文のその位置に存在するかを機械的に検証できます。

Step 2:LLMによる抽出と「4層検証」

次に、各チャンクから登場人物・場所・出来事(エンティティ)と、それらの関係(エッジ)を LLM で JSON 抽出します。このとき「それっぽい JSON が出たからOK」にせず、引用文字列 evidence_quote が原文チャンク内に完全一致するかまで検証器でチェックしました。

実際に bocchan_ch01_c001 から抽出された JSON の抜粋がこちらです。

// エンティティ抽出例(bocchan_ch01_c001)
{
  "local_id": "ent_001",
  "chunk_id": "bocchan_ch01_c001",
  "surface_form": "おれ",
  "entity_type": "PERSON",
  "mention_type": "first_person_narrator",
  "utterance_context": "narration",
  "evidence_quote": "勘太郎の頭がすべって、おれの袷の袖の中にはいった。",
  "quote_start_char": 716,
  "quote_end_char": 741,
  "quote_in_base_span": true,
  "description": "地の文の一人称語り手"
}
// 関係抽出例(bocchan_ch01_c001)
{
  "local_id": "rel_001",
  "chunk_id": "bocchan_ch01_c001",
  "source_id": "ent_001",
  "relation_type": "INITIATED_OR_CAUSED",
  "target_id": "evt_001",
  "utterance_context": "narration",
  "scene_label": "小学校の二階からの飛び降り",
  "evidence_quote": "小学校に居る時分学校の二階から飛び降りて一週間ほど腰を抜かした事がある。",
  "quote_start_char": 27,
  "quote_end_char": 63,
  "quote_in_base_span": true
}

Step 3:一人称小説の罠と名寄せ(第1章グラフ → 全11章 1,021ノード)

抽出しただけでは、「おれ」「坊っちゃん」「うらなり」「古賀」「山嵐」「堀田」が別ノードに分裂します。しかし、ここで単純に「おれ と 私 はすべて主人公に統合する」とルールを書くと大失敗します。会話文(utterance_context: "dialogue")の中で他の登場人物が自分のことを「おれ」「私」と呼んでいるケースまで主人公に吸収されてしまうためです。

そこで「地の文の一人称だけ主人公ノードへ統合し、会話内の一人称は統合しない」という安全規則を入れて構築した 第1章(全6断片)の名寄せ後グラフ がこちらです。

同じルールを全11章(78断片)へ適用した結果、NetworkX の有向グラフ(MultiDiGraph)として 1,021ノード・1,297エッジ の根拠付き知識グラフを構築できました。

Step 4:有向1〜2ホップ探索とベクトル検索の融合

検索時は、質問文から抽出した登場人物ノードと、Vector検索上位チャンクに含まれるノードを起点(Seed)として、グラフ上を有向 1〜2ホップ 辿ります。

ところが初期実装では、グラフから拾ったスコアの高いチャンクが、元々 Vector 検索で上位にあった正解チャンクを 8,000 文字の予算枠から押し出してしまうという副作用(Q04 が 1.0 → 0.0 に悪化)が起きました。原因は、グラフ単独チャンクのスコア(最大 0.58)が実データのコサイン類似度(0.45〜0.55)より高すぎたこと、およびグラフサマリ文字数(1,200 文字)が本文枠を圧迫していたことです。

そこで調整用 tuning 5問だけを使って、グラフ単独スコアの上限を抑え(0.20 + 0.27 * g_norm、最大 0.47)、サマリ枠を 600 文字へ縮めたところ、tuning 5問の平均 overlap_inclusive_recall は 0.4333 → 0.5833(Vector RAG 0.5167 を上回る結果)へ改善しました。この設定を固定して、未知の final 10問を含む 全15問 を実行しました。

参考までに、Q04(マドンナをめぐる三角関係)で実際にグラフ探索が辿ったサブグラフは以下の通りです。


4. 自作 GraphRAG の実力:実測で追う「成功」と「失敗」

固定条件(全78断片、コンテキスト予算 8,000 文字、回答モデル同一)で全15問を比較した結果、全体の平均 overlap_inclusive_recall は以下の通りになりました。

  • Vector RAG(Graph OFF):0.5300(tuning: 0.5167 / final: 0.5367)
  • 自作 GraphRAG(Graph ON・2-hop):0.5389(tuning: 0.5833 / final: 0.5167)
  • 勝敗の内訳:1勝 1敗 13分け

劇的な圧勝にはなりませんでした。なぜそうなったのか、4つの象徴的な実例で見てみます。

実例① グラフが効いた例:Q07(四国で住んだ宿の変遷)

Vector RAG だけでは言葉の類似度から「港屋」や「萩野の家」は拾えても、途中で追い出された下宿「いか銀」の場面(bocchan_ch03_c003)を取りこぼしていました(recall=0.3333)。自作 GraphRAG では、おれ(坊っちゃん) や いか銀(下宿) のノードから以下のようにグラフを辿ることで bocchan_ch03_c003 を補完し、recall=0.6667 へ改善しました。

実例② 探索ルールが裏目に出た例:Q08(第6章の職員会議に至るまでの騒動)

未知セット final で唯一悪化したのが Q08(0.20 → 0.0)です。「赴任してから第6章の職員会議に至るまでに、生徒たちとの間で起きた騒動は?」という質問に対し、章ヒント規則が「第6章」に過剰反応して bocchan_ch06_c001〜c003 を優先した結果、第4章のバッタ事件(bocchan_ch04_c004)を押し出してしまいました。良かれと思ったヒューリスティックが、時間範囲の表現に騙された好例です。

実例③ 出典IDが付いていても誤答する「LLMの事前知識の罠」:Q01

Q01(職員のあだ名一覧)では、Vector RAG・自作 GraphRAG ともに正解断片 bocchan_ch02_c006 を取得できませんでした(recall=0.0)。そのときの実際の回答がこちらです。

# 自作 GraphRAG の Q01 実回答(正解断片 bocchan_ch02_c006 は未取得)
* 校長:狸 [bocchan_ch06_c007], [bocchan_ch04_c003], [bocchan_ch02_c003]
* 教頭:赤シャツ [bocchan_ch06_c007], [bocchan_ch04_c003]
* 数学教師:山嵐 [bocchan_ch04_c003], [bocchan_ch06_c004]
* 英語教師:野だ [bocchan_ch06_c007], [bocchan_ch06_c004]   <-- 誤り!(本当は英語=うらなり、画学=野だ)

正解がコンテキストに無い状態で LLM が事前知識に引きずられて誤答し、しかも実在する無関係なチャンクIDを出典として付けてしまった例です。「実在する出典IDが書かれている=根拠に基づく正しい回答」ではないことが分かります。

実例④ 全体解釈の壁:Q10〜Q12

global_interpretation(3問)では、Vector RAG・自作 GraphRAG ともに平均 0.1944 で頭打ちになりました。どれだけグラフを辿っても、最後にプロンプトへ渡せるのは上位5〜6チャンク(8,000文字)までです。物語全体の構造を問う質問には、局所的な断片収集だけでは構造的に太刀打ちできません。


5. Microsoft GraphRAG(v3.3.0)を動かして解剖する

ここでいよいよ公式の Microsoft GraphRAG(3.3.0) を、自作版と分離した環境・同じ『坊っちゃん』原本・同じモデルで実行しました。

索引構築の中身:何が自作版と違うのか

項目 自作 GraphRAG Microsoft GraphRAG(3.3.0)
分割方式・断片数 章・文境界(約1,200字)/ 78 チャンク トークン分割(1200 tokens / overlap 100)/ 69 テキストユニット
エンティティ数 1,021(日本語名寄せあり) 258(既定プロンプトにより英日混在)
関係数 1,297 478(未存在ノード参照 74 件を自動除外)
コミュニティ / 要約 なし 60 コミュニティ / 60 レポート(Level 0〜4)
構築時間・トークン 段階実行 105.27秒、Completion 762,103 / Embedding 175,541 tokens

Microsoft GraphRAG 最大の特徴は、Leiden 法による階層コミュニティ検出と、各コミュニティの要約である コミュニティレポート(60件) を事前に作ることです。たとえば Level 1 では Koga's Forced Transfer to Nobeoka in Hyuga(rank 7.5)、Level 2 では KIYO and Tokyo: A Community of Loyalty and Belonging(rank 7.5)といったテーマ単位のレポートが自動生成されました。

一方で、既定の英語プロンプトのまま日本語小説を索引化した副作用もハッキリ観察されました。上位ノードを見ると、赤シャツ(degree 35)と AKASHATSU(degree 25)、山嵐(23)と YAMAARASHI(35)、野だ(17)と NODA(16)が、同じ人物なのに日本語ノードとローマ字ノードに分裂していました。また要約文中には Yoshikawa, the narrator and a drawing teacher(吉川=野だを語り手と混同)という誤認も混ざっていました。

なお、キャッシュを保持したまま索引を再実行すると、Completion の 99.7%・Embedding の 97.4% がキャッシュヒットし、重複課金をほぼゼロに抑えられることも確認できました。


6. 3方式(4ラン)の徹底比較:Local Search vs Global Search vs 自作版

同じ15問に対して Microsoft GraphRAG の Local Search(人物・関係・少数の原文ユニットを使う)と Global Search(コミュニティレポートを Map-Reduce で統合する)を実行し、3方式を比較しました。

条件差の注意
Microsoft GraphRAG は公式既定で max_context_tokens=12,000・トークン分割・英語プロンプトを使っており、自作版の 8,000 文字制限・日本語プロンプトとは前提が異なります。以下の差は探索アルゴリズム単独ではなく、標準パイプライン全体の特性差として解釈します。

対照的な3つの実測エピソード

① Q01(あだ名一覧):MS Local Search の逆転勝利

Vector RAG と自作 GraphRAG がどちらも正解チャンク bocchan_ch02_c006 を拾えず recall=0.0 に沈んだ Q01 で、MS Local Search だけは Sources (9) として該当テキストユニットを取得し(recall=1.0)、5人の役職とあだ名を根拠付きで正確に回答しました。

② Q03(帰京後の職・月給・家賃):Vector / 自作の圧勝と「逆翻訳の劣化」

『坊っちゃん』最終盤の「街鉄の技手・月給二十五円・家賃六円・清は小日向の養源寺に埋葬」を問う Q03 では、4ランの差が最も鮮やかに出ました。

  • Vector RAG / 自作 GraphRAG(recall=1.0):

    「街鉄の技手という職に就きました [bocchan_ch11_c009]。月給は二十五円で、家賃は六円でした [bocchan_ch11_c009]。…清の墓は小日向の養源寺にあります [bocchan_ch11_c009]。」

  • MS Local Search(recall=0.0):

    「職、月給、家賃については、提供されたデータからは具体的な情報がありません。…小日向の光厳寺に埋葬されました [Data: Entities (9, 256)]。」

  • MS Global Search:

    「路面電車の技術者として働く予定でした [Data: Reports (1)]。…小日向の向源寺に埋葬されました [Data: Reports (1, 47, 48)]。月給と家賃に関する情報については、提供された報告書には記載がありません。」

なぜこんなことが起きたのか?
MS Local は sources(原文ユニット)を約3件しか入れないため細部を取りこぼし、MS Global はコミュニティ要約の段階で「25円」「6円」という細部数値が削ぎ落とされていました。さらに、養源寺 が英語要約でローマ字化(Kogenji 等)された結果、日本語回答へ戻す際に 光厳寺 や 向源寺 という存在しない漢字に逆翻訳されてしまったのです。

③ Q12(なぜ東京へ帰る決断をしたのか):MS Global Search の真骨頂

一方で、自作 GraphRAG が recall=0.0 で「提供された本文からは判断できません」と答えられなかった全体質問 Q12 では、MS Global Search が 54 件のコミュニティレポートを統合し、学校内の権力闘争・赤シャツの偽善・祝勝会事件までを網羅した最も深い回答を生成しました(所要 16.23秒)。

3方式の比較まとめ表

観点 Vector RAG 自作 GraphRAG MS Local Search MS Global Search
全体平均 recall(15問) 0.5300 0.5389 0.3667(sources のみ) 対象外(54 レポート統合)
細部事実・数値(Q03) 強い(1.0) 強い(1.0) 弱い(sources 枠小) 弱い(要約で数値脱落)
人物・関係の構造化(Q01, Q04) 言い回し差に弱い 因果補完可(Q07) 構造化要約が強い(Q01=1.0) 中〜強
全体俯瞰の質問(Q10〜Q12) 弱い(0.1944) 弱い(0.1944) エンティティ要約で回答 圧倒的に強い(54 レポート統合)
回答保留(Q13〜Q15) 3/3 保留 3/3 保留 3/3 保留 Q13・Q14 英語保留、Q15 部分保留
原文位置の直接追跡 可能(start_char..end_char) 可能(start_char..end_char) Sources のみ可能 不可(レポートID止まり)
平均応答時間(1問) 3,088 ms 2,891 ms 4,887 ms 6,977 ms(最大 16.2 s)

7. おわりに:実測から見えた GraphRAG の使い分け

『坊っちゃん』でゼロから作って公式版と比べたことで、教科書的な解説だけでは見えない3つの実感が得られました。

  1. 「細部の事実・正確な数値・原文位置の厳密な出典」が最重要なら、Vector RAG が最も堅実です。要約を挟まないため細部が落ちず、低コスト・低遅延で原文へ戻れます。
  2. 「ノードとエッジを1〜2ホップ辿るだけの素朴な GraphRAG」は万能ではありません。因果の補完(Q07)には効く一方、探索ルールの副作用(Q08)やプロンプト上限による全体俯瞰の限界(Q10〜Q12)にぶつかります。
  3. 「文書群全体のテーマや構造を俯瞰したい」なら、コミュニティ検出+階層要約を持つ Microsoft GraphRAG(Global Search)の本領が発揮されます。ただし、事前索引コスト(76万トークン超)・応答遅延・細部数値の脱落・英語中間要約による固有名詞の劣化という明確なトレードオフを引き受ける設計判断が必要です。
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?