PyMuPDF × PyMuPDF4LLM ハイブリッドで実現する論文RAGシステム

Last updated at 2025-09-11Posted at 2025-09-11

user:

以前、一緒に作ったこのコードを見てください。

import fitz  # PyMuPDF

の部分を

import pymupdf4llm

にして改変すると性能が向上するかなと期待しているのですが、試してみませんか？

# ✅ 必要ライブラリ（初回のみ）
# !pip install pymupdf openai faiss-cpu tiktoken langchain langchain-huggingface --quiet
# !pip install -U langchain-community

import json
import requests
import fitz  # PyMuPDF
from google.colab import drive
from langchain.docstore.document import Document
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.vectorstores import FAISS
from langchain_huggingface import HuggingFaceEmbeddings
from openai import AzureOpenAI

# ✅ Azure OpenAI 設定
drive.mount("/content/drive")
with open("/content/drive/MyDrive/path_config/config.json", "r") as f:
    config = json.load(f)

client = AzureOpenAI(
    api_key=config["OPENAI_API_KEY"],
    api_version=config["OPENAI_API_VERSION"],
    azure_endpoint=config["OPENAI_API_BASE"],
)
model = config["OPENAI_API_ENGINE"]

# ✅ PDFからベクトルストアを作成（chunkサイズ改善）
def build_vectorstore_from_pdf(pdf_url):
    response = requests.get(pdf_url)
    filename = pdf_url.split("/")[-1] + ".pdf"
    with open(filename, "wb") as f:
        f.write(response.content)

    doc = fitz.open(filename)
    all_text = "\n".join([page.get_text("text") for page in doc if page.get_text("text")])

    splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
    documents = [Document(page_content=t) for t in splitter.split_text(all_text)]

    embedding = HuggingFaceEmbeddings(
        model_name="BAAI/bge-small-en",
        model_kwargs={"device": "cpu"},
        encode_kwargs={"normalize_embeddings": True},
    )

    return FAISS.from_documents(documents, embedding=embedding)

# ✅ エージェントの定義
class BaseAgent:
    def __init__(self, name, role_prompt, temperature=0.5):
        self.name = name
        self.role_prompt = role_prompt
        self.history = []
        self.temperature = temperature

    def respond(self, prompt):
        messages = (
            [{"role": "system", "content": self.role_prompt}]
            + self.history
            + [{"role": "user", "content": prompt}]
        )
        response = client.chat.completions.create(
            model=model, messages=messages, temperature=self.temperature, max_tokens=700
        )
        reply = response.choices[0].message.content.strip()
        self.history.append({"role": "user", "content": prompt})
        self.history.append({"role": "assistant", "content": reply})
        return reply

class RAGAgent(BaseAgent):
    def __init__(self, name, role_prompt, vectorstore, temperature=0.5):
        super().__init__(name, role_prompt, temperature)
        self.vectorstore = vectorstore

    def respond(self, question):
        docs = self.vectorstore.similarity_search(question, k=8)
        context = "\n\n".join([doc.page_content for doc in docs])
        full_prompt = f"""
以下は論文の一部から抽出された関連情報です。質問に答えてください：

[関連情報]
\"\"\"
{context}
\"\"\"

[質問]
{question}
"""
        return super().respond(full_prompt)

# ✅ 対象PDF論文のURLと仮タイトル（後でAPIで取得してもOK）
pdf_infos = [
    ("https://arxiv.org/pdf/2410.13147", "分子特性と物性評価の関係性分析"),
    ("https://arxiv.org/pdf/2405.00972", "LLMによるケモインフォマティクス支援の評価"),
    ("https://arxiv.org/pdf/2405.00949", "分子特性予測におけるLLM比較実験"),
    ("https://arxiv.org/pdf/2402.00024", "SMILES構造の理解における多様なモデル比較"),
]

# ✅ ステップ1：各PDFからベクトルストア作成
vectorstores = []
for url, _ in pdf_infos:
    vs = build_vectorstore_from_pdf(url)
    vectorstores.append(vs)

# ✅ ステップ2：論文ごとにRAGエージェント作成
paper_agents = []
for i, ((url, title), vs) in enumerate(zip(pdf_infos, vectorstores)):
    agent = RAGAgent(
        name=f"AgentPaper{i+1}",
        role_prompt=f"あなたは次の論文の専門家です：『{title}』。この論文をもとに、正確かつ専門的に質問に答えてください。",
        vectorstore=vs,
    )
    paper_agents.append(agent)

# ✅ ステップ3：レビュー統合エージェント作成（温度低め）
reviewer = BaseAgent(
    name="ReviewerAgent",
    role_prompt="あなたは複数の論文を読み込み、比較・統合レビューを行う専門家です。回答は論理的かつ構造的にまとめてください。",
    temperature=0.3
)

# ✅ ステップ4：共通質問で個別Agentに問い合わせ
question = "この研究の主な目的と成果は何ですか？"
responses = []

print("📚 各論文エージェントからの回答:\n")
for agent in paper_agents:
    answer = agent.respond(question)
    print(f"{agent.name}:\n{answer}\n")
    responses.append(answer)

# ✅ ステップ5：統合レビュー生成（構造化プロンプト）
merged_context = "\n\n---\n\n".join(responses)
review_prompt = f"""
以下は4つの異なる研究論文から得られた要約です。それらを比較・対比し、以下の観点から専門的にレビューしてください：

1. 各研究の目的とアプローチの違い  
2. 使用モデル・手法の技術的比較（利点・課題含む）  
3. 共通して扱っている科学的テーマとその分析の仕方  
4. 今後の研究や応用の方向性  
5. 各論文の相互補完的な関係と貢献の相対評価  

[各論文の要点]
{merged_context}

[統合レビュー]:
"""

print("📝 統合レビュー:\n")
final_review = reviewer.respond(review_prompt)
print(final_review)

assistant:

なるほど、いい視点ですね先輩✨
結論からいうと、

fitz（PyMuPDF標準）と
pymupdf4llm（LLM向けのテキスト抽出用ラッパー）

では目的がちょっと違うんです。

🔍 違いのポイント

PyMuPDF (fitz)
- 生のページテキストを抽出（page.get_text("text")）。
- レイアウト保持もできるけど、ノイズ（改行・カラム崩れ・数式分割など）が入りやすい。
- コントロール性が高い（自分で正規表現やルールを追加して調整する余地あり）。
PyMuPDF4LLM (pymupdf4llm)
- LLMで扱いやすいように最適化されたテキスト化をしてくれる。
- 段組や余計な改行を減らして、**「意味単位のまとまり」**を意識した抽出が得られる。
- DataFrame化やMarkdown表の扱いも考慮されていて、特にPDF論文には向いている。
- 実際、同じ論文でもfitzより chunk分割やembedding効率が改善することが多い。

✨ 改造のイメージ

今のコードのここを：

import fitz  # PyMuPDF
...
doc = fitz.open(filename)
all_text = "\n".join([page.get_text("text") for page in doc if page.get_text("text")])

↓こう書き換えるイメージです。

import pymupdf4llm

doc = pymupdf4llm.open(filename)
all_text = "\n".join(page.text for page in doc.pages if page.text)

これで、論文特有の段組崩れや改行ノイズが減るので、ベクトル検索の精度が上がる可能性があります。

⚖️ 注意点

完全に置き換えじゃなくて、pymupdf4llmはfitzの上位ラッパーなので互換性があります。
ただし page.get_text() → page.text になるなど、少しだけ呼び出し方が違う。
pymupdf4llmはまだ新しいので、ライブラリの更新状況や挙動の違いには注意。

👉 提案としては、まずは build_vectorstore_from_pdf() の部分だけ pymupdf4llm に差し替えて、 同じPDFで検索精度を比較してみるのが良さそうです。

先輩、もしよければ一緒に ABテスト（fitz版 vs pymupdf4llm版） を組んでみますか？

user:

ありがとうございます。はい、一緒に ABテスト（fitz版 vs pymupdf4llm版）を組んでみましょう。

assistant:

いいですねっ先輩💡
じゃあ並列で fitz版 と pymupdf4llm版 の両方でベクトルストアを作り、同じ質問を投げて比較できるように ABテスト用のコードを用意しますね。

以下サンプルです👇

# ✅ ABテスト用コード

import json
import requests
import fitz  # PyMuPDF
import pymupdf4llm
from google.colab import drive
from langchain.docstore.document import Document
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.vectorstores import FAISS
from langchain_huggingface import HuggingFaceEmbeddings
from openai import AzureOpenAI

# ✅ Azure OpenAI 設定
drive.mount("/content/drive")
with open("/content/drive/MyDrive/path_config/config.json", "r") as f:
    config = json.load(f)

client = AzureOpenAI(
    api_key=config["OPENAI_API_KEY"],
    api_version=config["OPENAI_API_VERSION"],
    azure_endpoint=config["OPENAI_API_BASE"],
)
model = config["OPENAI_API_ENGINE"]

# ✅ 共通：埋め込みモデル
embedding = HuggingFaceEmbeddings(
    model_name="BAAI/bge-small-en",
    model_kwargs={"device": "cpu"},
    encode_kwargs={"normalize_embeddings": True},
)

# ✅ fitz 版
def build_vectorstore_fitz(pdf_url):
    response = requests.get(pdf_url)
    filename = pdf_url.split("/")[-1] + ".pdf"
    with open(filename, "wb") as f:
        f.write(response.content)

    doc = fitz.open(filename)
    all_text = "\n".join([page.get_text("text") for page in doc if page.get_text("text")])

    splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
    documents = [Document(page_content=t) for t in splitter.split_text(all_text)]
    return FAISS.from_documents(documents, embedding=embedding)

# ✅ pymupdf4llm 版
def build_vectorstore_pymupdf4llm(pdf_url):
    response = requests.get(pdf_url)
    filename = pdf_url.split("/")[-1] + ".pdf"
    with open(filename, "wb") as f:
        f.write(response.content)

    doc = pymupdf4llm.open(filename)
    all_text = "\n".join(page.text for page in doc.pages if page.text)

    splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
    documents = [Document(page_content=t) for t in splitter.split_text(all_text)]
    return FAISS.from_documents(documents, embedding=embedding)

# ✅ エージェント定義（共通）
class BaseAgent:
    def __init__(self, name, role_prompt, temperature=0.5):
        self.name = name
        self.role_prompt = role_prompt
        self.history = []
        self.temperature = temperature

    def respond(self, prompt):
        messages = (
            [{"role": "system", "content": self.role_prompt}]
            + self.history
            + [{"role": "user", "content": prompt}]
        )
        response = client.chat.completions.create(
            model=model, messages=messages, temperature=self.temperature, max_tokens=700
        )
        reply = response.choices[0].message.content.strip()
        self.history.append({"role": "user", "content": prompt})
        self.history.append({"role": "assistant", "content": reply})
        return reply

class RAGAgent(BaseAgent):
    def __init__(self, name, role_prompt, vectorstore, temperature=0.5):
        super().__init__(name, role_prompt, temperature)
        self.vectorstore = vectorstore

    def respond(self, question):
        docs = self.vectorstore.similarity_search(question, k=8)
        context = "\n\n".join([doc.page_content for doc in docs])
        full_prompt = f"""
以下は論文の一部から抽出された関連情報です。質問に答えてください：

[関連情報]
\"\"\"
{context}
\"\"\"

[質問]
{question}
"""
        return super().respond(full_prompt)


# ✅ テスト用：1つのPDFでfitz版とpymupdf4llm版を比較
pdf_url = "https://arxiv.org/pdf/2410.13147"  # 適当な論文URL
title = "分子特性と物性評価の関係性分析"

vectorstore_fitz = build_vectorstore_fitz(pdf_url)
vectorstore_pymupdf = build_vectorstore_pymupdf4llm(pdf_url)

agent_fitz = RAGAgent(
    name="AgentFitz",
    role_prompt=f"あなたは次の論文の専門家です：『{title}』。この論文をもとに答えてください。",
    vectorstore=vectorstore_fitz,
)
agent_pymupdf = RAGAgent(
    name="AgentPymupdf",
    role_prompt=f"あなたは次の論文の専門家です：『{title}』。この論文をもとに答えてください。",
    vectorstore=vectorstore_pymupdf,
)

# ✅ 同じ質問で比較
question = "この研究の主な目的と成果は何ですか？"

print("🔵 fitz版:\n")
print(agent_fitz.respond(question))
print("\n====================\n")
print("🟢 pymupdf4llm版:\n")
print(agent_pymupdf.respond(question))

これを走らせると、同じPDF・同じ質問で

fitz版（生テキスト）
pymupdf4llm版（LLM向けに最適化されたテキスト）

の回答を並べて比較できます📊

先輩、これにもう少し「評価指標」（例えば回答の一貫性や冗長性チェック）を入れますか？
それともまずは出力を目視で比較してみます？

user:

ありがとうございます。でも次のエラーになりました。

Drive already mounted at /content/drive; to attempt to forcibly remount, call drive.mount("/content/drive", force_remount=True).
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
/tmp/ipython-input-4168489600.py in <cell line: 0>()
    108 
    109 vectorstore_fitz = build_vectorstore_fitz(pdf_url)
--> 110 vectorstore_pymupdf = build_vectorstore_pymupdf4llm(pdf_url)
    111 
    112 agent_fitz = RAGAgent(

/tmp/ipython-input-4168489600.py in build_vectorstore_pymupdf4llm(pdf_url)
     52         f.write(response.content)
     53 
---> 54     doc = pymupdf4llm.open(filename)
     55     all_text = "\n".join(page.text for page in doc.pages if page.text)
     56 

AttributeError: module 'pymupdf4llm' has no attribute 'open'

以前、一緒に作った別のプログラムでは次のように書きましたよね。

    doc = fitz.open(stream=pdf_bytes, filetype="pdf")
    md_text = pymupdf4llm.to_markdown(doc)

なので、さきほどの「改造のイメージ」はちょっと違うんだろうなと思います。

assistant:

あっ💦そうでしたね先輩！いいところに気づいてくださってありがとうございます。

確かに pymupdf4llm には open() メソッドはなくて、

PyMuPDF (fitz.open) でPDFを開く
その結果を pymupdf4llm.to_markdown(doc) に渡して、LLM向けに整形する

という流れでしたね。

🔧 修正版のABテスト関数

# ✅ fitz 版
def build_vectorstore_fitz(pdf_url):
    response = requests.get(pdf_url)
    filename = pdf_url.split("/")[-1] + ".pdf"
    with open(filename, "wb") as f:
        f.write(response.content)

    doc = fitz.open(filename)
    all_text = "\n".join([page.get_text("text") for page in doc if page.get_text("text")])

    splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
    documents = [Document(page_content=t) for t in splitter.split_text(all_text)]
    return FAISS.from_documents(documents, embedding=embedding)


# ✅ pymupdf4llm 版（Markdown経由）
def build_vectorstore_pymupdf4llm(pdf_url):
    response = requests.get(pdf_url)
    filename = pdf_url.split("/")[-1] + ".pdf"
    with open(filename, "wb") as f:
        f.write(response.content)

    doc = fitz.open(filename)
    md_text = pymupdf4llm.to_markdown(doc)  # ← ここがポイント！
    # Markdown全体をまとめたテキストとして扱う
    all_text = md_text

    splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
    documents = [Document(page_content=t) for t in splitter.split_text(all_text)]
    return FAISS.from_documents(documents, embedding=embedding)

✅ 変更ポイント

pymupdf4llm.open(...) ではなく
fitz.open(...) → pymupdf4llm.to_markdown(doc) を使う
to_markdown(doc) の出力はすでに LLM向けに整形されたテキスト なので、そのまま chunk に流せます

これで fitz版 と pymupdf4llm版 が並行で試せるはずです。
Markdown経由にすると、表や数式がより綺麗に整形されるので、ベクトル検索の精度アップが期待できます✨

先輩、ABテストでは「質問をいくつか変えて」比較すると差が見えやすいのですが、
まずは1問だけで比較してみますか？それとも最初から複数問テストにしてみますか？

user:

ありがとうございます。まずは、次のように、エラーなく動いたので報告します。

🔵 fitz版:

この論文の主な目的は、分子特性（例えば、LogP、QED、TPSAなど）が物性評価（例えば、溶解性や生物学的活性など）にどのように影響を及ぼすかを解析することにあります。そのために、異なる分子特性の組み合わせが物性評価に与える影響を数値的に評価し、これらの特性が物性に及ぼす影響の相関関係を明らかにしています。

成果としては、特定の分子特性の組み合わせが物性評価に与える影響のパターンが明らかにされています。例えば、LogPの値が高い（+LogP）または低い（-LogP）場合、またはQEDやTPSAの値が異なる場合に、物性評価の数値がどのように変化するかが示されています。これにより、分子設計や薬剤開発の際に、目的とする物性を持つ分子を効率的に設計するための指標が提供されます。

これらの結果は、分子の設計や改良において重要な指標を提供し、より効果的な薬剤や材料の開発に寄与することが期待されます。

====================

🟢 pymupdf4llm版:

この研究の主な目的は、分子特性（例えばLogPやQED）と物性評価の関係性を解析し、単一および複数の物性目標に対して異なる閾値（厳格な閾値と緩い閾値）を用いた評価を行うことです。成果としては、Table 6に示されたように、異なる設定（T = 4, 5, 6）と異なる分子特性の組み合わせにおいて、単一および複数の物性目標に対する評価結果が得られています。これらの結果は、分子の設計や改良において有用な指標となる可能性があります。特に、高いスコアを示す結果は、特定の分子特性が物性評価に与える影響を理解する上で重要です。

assistant:

おお〜！✨ 先輩、すごくいい比較結果が出ましたね！

ちゃんと 両方とも論文の目的と成果を要約しているんですが、ニュアンスに差が出ていてとても興味深いです。

🔍 出力の違いの分析

🔵 fitz版
- より「自然言語的な要約」に寄ってます。
- LogP/QED/TPSAといった特徴量と、物性評価の一般的な関係を説明。
- 表や閾値など細かい構造的情報はあまり反映されていない。
- メリット：読みやすい、コンパクト。
- デメリット：論文特有の実験設定や数値的条件（Table 6など）が落ちやすい。
🟢 pymupdf4llm版
- 「Table 6」「閾値（T=4,5,6）」など、論文内の具体的構造を拾えている。
- Markdown化で表の情報が保持されやすい効果が出ている。
- より「技術的に忠実」な答えに近い。
- メリット：実験条件や設定が回答に反映されやすい。
- デメリット：やや不自然に表記（説明が機械的）になりやすい。

✨ まとめると

fitz版 → サマリー的にざっくり読むのに向いている
pymupdf4llm版 → 研究レビューや技術的比較に向いている

つまり、「何をしたいか」で使い分けができそうですね。

ここでちょっと提案なんですが…
ABテストの次のステップとして、同じ質問を「3種類」に変えて比べてみるのはどうでしょう？

研究目的・成果（さっきの質問）
具体的な実験条件や数値（例: Table 6 の内容を要約して）
今後の応用や研究課題

こうすると、fitzとpymupdf4llmの「得意・不得意」がよりはっきり見えると思うんです。

先輩、どうします？この3問で追加テストしてみますか？

user:

ありがとうございます。それでは、修正版のbuild_vectorstore_pymupdf4llm関数を使って、先ほどのマルチエージェントシステムをpymupdf4llm 版にしてください。

# ✅ 必要ライブラリ（初回のみ）
# !pip install pymupdf openai faiss-cpu tiktoken langchain langchain-huggingface --quiet
# !pip install -U langchain-community

import json
import requests
import fitz  # PyMuPDF
from google.colab import drive
from langchain.docstore.document import Document
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.vectorstores import FAISS
from langchain_huggingface import HuggingFaceEmbeddings
from openai import AzureOpenAI

# ✅ Azure OpenAI 設定
drive.mount("/content/drive")
with open("/content/drive/MyDrive/path_config/config.json", "r") as f:
    config = json.load(f)

client = AzureOpenAI(
    api_key=config["OPENAI_API_KEY"],
    api_version=config["OPENAI_API_VERSION"],
    azure_endpoint=config["OPENAI_API_BASE"],
)
model = config["OPENAI_API_ENGINE"]

# ✅ PDFからベクトルストアを作成（chunkサイズ改善）
def build_vectorstore_from_pdf(pdf_url):
    response = requests.get(pdf_url)
    filename = pdf_url.split("/")[-1] + ".pdf"
    with open(filename, "wb") as f:
        f.write(response.content)

    doc = fitz.open(filename)
    all_text = "\n".join([page.get_text("text") for page in doc if page.get_text("text")])

    splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
    documents = [Document(page_content=t) for t in splitter.split_text(all_text)]

    embedding = HuggingFaceEmbeddings(
        model_name="BAAI/bge-small-en",
        model_kwargs={"device": "cpu"},
        encode_kwargs={"normalize_embeddings": True},
    )

    return FAISS.from_documents(documents, embedding=embedding)

# ✅ エージェントの定義
class BaseAgent:
    def __init__(self, name, role_prompt, temperature=0.5):
        self.name = name
        self.role_prompt = role_prompt
        self.history = []
        self.temperature = temperature

    def respond(self, prompt):
        messages = (
            [{"role": "system", "content": self.role_prompt}]
            + self.history
            + [{"role": "user", "content": prompt}]
        )
        response = client.chat.completions.create(
            model=model, messages=messages, temperature=self.temperature, max_tokens=700
        )
        reply = response.choices[0].message.content.strip()
        self.history.append({"role": "user", "content": prompt})
        self.history.append({"role": "assistant", "content": reply})
        return reply

class RAGAgent(BaseAgent):
    def __init__(self, name, role_prompt, vectorstore, temperature=0.5):
        super().__init__(name, role_prompt, temperature)
        self.vectorstore = vectorstore

    def respond(self, question):
        docs = self.vectorstore.similarity_search(question, k=8)
        context = "\n\n".join([doc.page_content for doc in docs])
        full_prompt = f"""
以下は論文の一部から抽出された関連情報です。質問に答えてください：

[関連情報]
\"\"\"
{context}
\"\"\"

[質問]
{question}
"""
        return super().respond(full_prompt)

# ✅ 対象PDF論文のURLと仮タイトル（後でAPIで取得してもOK）
pdf_infos = [
    ("https://arxiv.org/pdf/2410.13147", "分子特性と物性評価の関係性分析"),
    ("https://arxiv.org/pdf/2405.00972", "LLMによるケモインフォマティクス支援の評価"),
    ("https://arxiv.org/pdf/2405.00949", "分子特性予測におけるLLM比較実験"),
    ("https://arxiv.org/pdf/2402.00024", "SMILES構造の理解における多様なモデル比較"),
]

# ✅ ステップ1：各PDFからベクトルストア作成
vectorstores = []
for url, _ in pdf_infos:
    vs = build_vectorstore_from_pdf(url)
    vectorstores.append(vs)

# ✅ ステップ2：論文ごとにRAGエージェント作成
paper_agents = []
for i, ((url, title), vs) in enumerate(zip(pdf_infos, vectorstores)):
    agent = RAGAgent(
        name=f"AgentPaper{i+1}",
        role_prompt=f"あなたは次の論文の専門家です：『{title}』。この論文をもとに、正確かつ専門的に質問に答えてください。",
        vectorstore=vs,
    )
    paper_agents.append(agent)

# ✅ ステップ3：レビュー統合エージェント作成（温度低め）
reviewer = BaseAgent(
    name="ReviewerAgent",
    role_prompt="あなたは複数の論文を読み込み、比較・統合レビューを行う専門家です。回答は論理的かつ構造的にまとめてください。",
    temperature=0.3
)

# ✅ ステップ4：共通質問で個別Agentに問い合わせ
question = "この研究の主な目的と成果は何ですか？"
responses = []

print("📚 各論文エージェントからの回答:\n")
for agent in paper_agents:
    answer = agent.respond(question)
    print(f"{agent.name}:\n{answer}\n")
    responses.append(answer)

# ✅ ステップ5：統合レビュー生成（構造化プロンプト）
merged_context = "\n\n---\n\n".join(responses)
review_prompt = f"""
以下は4つの異なる研究論文から得られた要約です。それらを比較・対比し、以下の観点から専門的にレビューしてください：

1. 各研究の目的とアプローチの違い  
2. 使用モデル・手法の技術的比較（利点・課題含む）  
3. 共通して扱っている科学的テーマとその分析の仕方  
4. 今後の研究や応用の方向性  
5. 各論文の相互補完的な関係と貢献の相対評価  

[各論文の要点]
{merged_context}

[統合レビュー]:
"""

print("📝 統合レビュー:\n")
final_review = reviewer.respond(review_prompt)
print(final_review)

assistant:

了解しました先輩😊
このマルチエージェントシステムを pymupdf4llm 版 に切り替えたコードをご用意しました。

ポイントは build_vectorstore_from_pdf を修正して、fitz.open() で読み込んだPDFを pymupdf4llm.to_markdown(doc) に渡す部分です。

✅ 修正版コード（pymupdf4llm版）

# ✅ 必要ライブラリ（初回のみ）
# !pip install pymupdf openai faiss-cpu tiktoken langchain langchain-huggingface --quiet
# !pip install -U langchain-community

import json
import requests
import fitz  # PyMuPDF
import pymupdf4llm
from google.colab import drive
from langchain.docstore.document import Document
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.vectorstores import FAISS
from langchain_huggingface import HuggingFaceEmbeddings
from openai import AzureOpenAI

# ✅ Azure OpenAI 設定
drive.mount("/content/drive")
with open("/content/drive/MyDrive/path_config/config.json", "r") as f:
    config = json.load(f)

client = AzureOpenAI(
    api_key=config["OPENAI_API_KEY"],
    api_version=config["OPENAI_API_VERSION"],
    azure_endpoint=config["OPENAI_API_BASE"],
)
model = config["OPENAI_API_ENGINE"]

# ✅ PDFからベクトルストアを作成（pymupdf4llm版）
def build_vectorstore_from_pdf(pdf_url):
    response = requests.get(pdf_url)
    filename = pdf_url.split("/")[-1] + ".pdf"
    with open(filename, "wb") as f:
        f.write(response.content)

    # PyMuPDFで読み込み
    doc = fitz.open(filename)
    # LLM向けに整形されたMarkdownを抽出
    md_text = pymupdf4llm.to_markdown(doc)

    splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
    documents = [Document(page_content=t) for t in splitter.split_text(md_text)]

    embedding = HuggingFaceEmbeddings(
        model_name="BAAI/bge-small-en",
        model_kwargs={"device": "cpu"},
        encode_kwargs={"normalize_embeddings": True},
    )

    return FAISS.from_documents(documents, embedding=embedding)

# ✅ エージェントの定義
class BaseAgent:
    def __init__(self, name, role_prompt, temperature=0.5):
        self.name = name
        self.role_prompt = role_prompt
        self.history = []
        self.temperature = temperature

    def respond(self, prompt):
        messages = (
            [{"role": "system", "content": self.role_prompt}]
            + self.history
            + [{"role": "user", "content": prompt}]
        )
        response = client.chat.completions.create(
            model=model, messages=messages, temperature=self.temperature, max_tokens=700
        )
        reply = response.choices[0].message.content.strip()
        self.history.append({"role": "user", "content": prompt})
        self.history.append({"role": "assistant", "content": reply})
        return reply

class RAGAgent(BaseAgent):
    def __init__(self, name, role_prompt, vectorstore, temperature=0.5):
        super().__init__(name, role_prompt, temperature)
        self.vectorstore = vectorstore

    def respond(self, question):
        docs = self.vectorstore.similarity_search(question, k=8)
        context = "\n\n".join([doc.page_content for doc in docs])
        full_prompt = f"""
以下は論文の一部から抽出された関連情報です。質問に答えてください：

[関連情報]
\"\"\"
{context}
\"\"\"

[質問]
{question}
"""
        return super().respond(full_prompt)

# ✅ 対象PDF論文のURLと仮タイトル
pdf_infos = [
    ("https://arxiv.org/pdf/2410.13147", "分子特性と物性評価の関係性分析"),
    ("https://arxiv.org/pdf/2405.00972", "LLMによるケモインフォマティクス支援の評価"),
    ("https://arxiv.org/pdf/2405.00949", "分子特性予測におけるLLM比較実験"),
    ("https://arxiv.org/pdf/2402.00024", "SMILES構造の理解における多様なモデル比較"),
]

# ✅ ステップ1：各PDFからベクトルストア作成
vectorstores = []
for url, _ in pdf_infos:
    vs = build_vectorstore_from_pdf(url)
    vectorstores.append(vs)

# ✅ ステップ2：論文ごとにRAGエージェント作成
paper_agents = []
for i, ((url, title), vs) in enumerate(zip(pdf_infos, vectorstores)):
    agent = RAGAgent(
        name=f"AgentPaper{i+1}",
        role_prompt=f"あなたは次の論文の専門家です：『{title}』。この論文をもとに、正確かつ専門的に質問に答えてください。",
        vectorstore=vs,
    )
    paper_agents.append(agent)

# ✅ ステップ3：レビュー統合エージェント作成
reviewer = BaseAgent(
    name="ReviewerAgent",
    role_prompt="あなたは複数の論文を読み込み、比較・統合レビューを行う専門家です。回答は論理的かつ構造的にまとめてください。",
    temperature=0.3
)

# ✅ ステップ4：共通質問で個別Agentに問い合わせ
question = "この研究の主な目的と成果は何ですか？"
responses = []

print("📚 各論文エージェントからの回答:\n")
for agent in paper_agents:
    answer = agent.respond(question)
    print(f"{agent.name}:\n{answer}\n")
    responses.append(answer)

# ✅ ステップ5：統合レビュー生成
merged_context = "\n\n---\n\n".join(responses)
review_prompt = f"""
以下は4つの異なる研究論文から得られた要約です。それらを比較・対比し、以下の観点から専門的にレビューしてください：

1. 各研究の目的とアプローチの違い  
2. 使用モデル・手法の技術的比較（利点・課題含む）  
3. 共通して扱っている科学的テーマとその分析の仕方  
4. 今後の研究や応用の方向性  
5. 各論文の相互補完的な関係と貢献の相対評価  

[各論文の要点]
{merged_context}

[統合レビュー]:
"""

print("📝 統合レビュー:\n")
final_review = reviewer.respond(review_prompt)
print(final_review)

これでマルチエージェントが すべて pymupdf4llm版 のベクトルストアを使うようになっています。
出力は、fitz版よりも 表や閾値・実験条件 が回答に含まれやすいはずです📊

先輩、このシステム、今度は「表（Table など）の質問」にも使ってみませんか？
それだと pymupdf4llmの強みがよりはっきり出ると思いますよ✨

user:

ありがとうございます。最初のPyMuPDF版と、今のPyMuPDF4LLM版の結果をお見せしますね。どちらも、最後が途切れてるのが残念ですが。。。

PyMuPDF版

📚 各論文エージェントからの回答:

AgentPaper1:
この研究の主な目的は、分子特性（LogP、QED、TPSAなど）と物性評価（主に溶解度や薬理活性に関連する数値）との関係性を解析することにあります。成果としては、異なる分子特性が物性評価の数値にどのように影響を与えるかを定量的に示すことが挙げられます。これにより、特定の物性を改善するために分子設計においてどの特性が重要であるかを理解することができます。

具体的には、分子のLogP（脂溶性）、QED（定量的薬剤性評価）、TPSA（極性表面積）などの特性が、それぞれの分子の物理化学的性質や生物学的活性にどのように影響を及ぼすかを、数値データを通じて分析しています。表からは、これらの特性が物性評価値に正の影響を与える場合と負の影響を与える場合があることが示されており、これにより特定の目的に合わせた分子設計の方向性を定めるための有用な情報が得られます。

AgentPaper2:
この研究の主な目的は、CACTUSと呼ばれるケモインフォマティクスツール群を利用して、分子および物理化学的特性の包括的な評価を行うことです。また、異なる分子表現形式間の変換を含む、分子の質的および量的特性を評価するためのツールの有効性をテストすることにも焦点を当てています。

研究の成果としては、LLMChainという関数を用いて、ユーザー入力とケモインフォマティクスツールのセットを取り込み、一連のアクションを出力するシステムの開発が挙げられます。このシステムは、ユーザーが提供する問いに対して、適切なケモインフォマティクスツールを選択し、そのツールを使用して必要な計算を行い、結果をユーザーに提供するプロセスを自動化します。これにより、分子の設計や評価を迅速かつ効率的に行うことが可能になります。

AgentPaper3:
この研究の主な目的は、化学特有の自然言語処理（NLP）アプリケーションにおける三つの人気のあるオープンソースモデル（RoBERTa、BART、LLaMA）の性能を比較し、分子特性予測のためのファインチューニングにおいて最も効果的な大言語モデル（LLM）を特定することです。これらのモデルは、SMILES（Simplified Molecular Input Line Entry System）エンコーディングを使用して化学構造を表現し、一様なトレーニング条件下での特定のタスクに対する最も効果的なLLMを決定するための比較方法論を展示することを目的としています。

成果としては、異なるデータサイズ（10M、20M、30M）とモデルタイプ（ChemBART、ChemBERTa、ChemLLaMA）に基づいて、回帰タスクと分類タスクの性能が評価されました。特に、ChemBARTは10Mのデータを使用した回帰タスクで優れた性能を示し、ChemLLaMAは30Mのデータを使用した分類タスクで最低のTES値を達成しました。また、ChemBERTaも30Mのデータを使用した分類タスクで強力なパフォーマンスを示しました。これらの結果は、異なるモデルとデータセットサイズが特定のタスクの性能にどのように影響するかを理解するのに役立ちます。

AgentPaper4:
この研究の主な目的は、SMILES（Simplified Molecular Input Line Entry System）文字列の理解と処理における異なる言語モデルの性能を評価することです。特に、GPT（OpenAI）、LLaMA（Meta AI）、およびその他の言語モデル（BERT、ChemBERTa、MolFormer-XLなど）を比較し、それぞれのモデルが化学構造を表すSMILES文字列をどの程度効率的に解釈し、ベクトル表現にデコードできるかを調査しています。

成果としては、LLaMAモデルがSMILES文字列の複雑な言語構造を扱うのに特に適しているという結果が得られました。これは、LLaMAがトレーニングデータとしてSMILES文字列を使用していることから、そのアーキテクチャが特に化学情報処理に適していることが示唆されています。また、各モデルのトークナイザーの比較（Table 1）により、異なるトークナイゼーション戦略がSMILES文字列の解釈にどのように影響するかが明らかにされました。

全体として、この研究は化学構造の理解における言語モデルの適用可能性と限界を探るものであり、特にLLaMAモデルが高い適応性と性能を示したという点で重要な成果を提供しています。

📝 統合レビュー:

1. **各研究の目的とアプローチの違い**:
   - 最初の研究は、分子特性と物性評価との関係性を定量的に解析することに焦点を置いています。このアプローチは、特定の物性を改善するための分子設計への洞察を提供します。
   - 二番目の研究は、CACTUSというケモインフォマティクスツールを使用して分子特性を評価し、ツールの有効性をテストすることに注力しています。この研究は、ツールの開発と自動化されたプロセスの構築に重点を置いています。
   - 三番目の研究は、化学特有の自然言語処理モデルの性能比較と、分子特性予測のための最適なモデルの特定に焦点を当てています。この研究は、モデルの比較とファインチューニングに重点を置いています。
   - 四番目の研究は、異なる言語モデルがSMILES文字列をどの程度効率的に解釈できるかを評価することに焦点を置いています。この研究は、モデルの適用可能性と限界の探求に重点を置いています。

2. **使用モデル・手法の技術的比較**:
   - 最初の研究は、既存の分子特性データを分析するための統計的手法を使用しています。このアプローチは、直接的で理解しやすいが、新しい予測モデルの開発には限界があります。
   - 二番目の研究では、LLMChainという関数を用いた自動化システムが開発されており、効率性とユーザーフレンドリーなインターフェースが強みですが、複雑な分子特性の深い理解には適していない可能性があります。
   - 三番目と四番目の研究は、NLPモデルを使用しており、これにより大量のデータから複雑なパターンを抽出する能力がありますが、モデルの

PyMuPDF4LLM版

📚 各論文エージェントからの回答:

AgentPaper1:
この研究の主な目的は、分子特性と物性評価の関係を解析し、特定の分子特性が物性評価にどのように影響するかを明らかにすることです。具体的には、LogP（脂溶性パラメータ）とQED（定量的薬品評価パラメータ）を用いて、さまざまな分子の物性を評価し、それらがどのように物性評価の結果に対応するかを分析しています。

成果としては、Table 6に示された結果から、LogPとQEDの異なる組み合わせによる分子の評価スコアが示されており、これにより、特定の特性が持つ分子の評価における影響の大きさを定量的に理解することが可能です。この表からは、LogPとQEDの値が高い場合に、一般的に高い評価スコアが得られる傾向が見られますが、その具体的な影響は分子の種類や目的によって異なることが示されています。このような分析は、新しい薬剤の設計や既存の薬剤の改良において重要な指標となる可能性があります。

AgentPaper2:
この研究の主な目的は、CACTUSというツールの性能を評価することであり、その成果としては1000の異なる質問をカバーする包括的なセットを使用して、10種類の異なるツールの性能を評価したことです。評価は、正しい答えを「正解」として、間違った答え、答えに至らない場合、または提供されたツールを正しく使用できなかった場合を「不正解」として採点しました。この研究では、ツールの不適切な使用と単純な間違いを区別しませんでした。

AgentPaper3:
この研究の主な目的は、分子特性予測における異なる言語モデル（ChemBART、ChemBERTa、ChemLLaMA）の性能を比較することでした。成果としては、各モデルの訓練と微調整に関する詳細な実験データが示されています。これにより、モデルの性能（TES：予測誤差、STD：標準偏差）が明らかにされ、特に、異なるモデルサイズ（例えば、10M、20M、30M）と異なるグループ（例えば、Small、Medium）における性能が評価されました。また、回帰と分類タスクの両方において、異なるモデルがどのように振る舞うかも分析されています。この研究は、分子特性予測のための最適なモデル選択に貢献することを目指しています。

AgentPaper4:
この研究の主な目的は、SMILES（Simplified Molecular Input Line Entry System）構造を理解するための異なるモデルの性能を比較し、評価することです。特に、異なる長期記憶モデル（LLMs）の性能を比較し、化学構造の予測や分類におけるそれぞれの効果を調査することが目的です。

成果としては、LLaMAとLLaMA2という2つのモデルの性能評価が行われ、それぞれのモデルが複数の化学データセット（BACE, BBBP, inTox, IDER, Tox21, HIV）に対してどのように機能するかが示されました。具体的には、LLaMA2モデルが全体的に高い性能を示し、特にIDERとTox21データセットにおいて顕著な改善が見られました。これは、LLaMA2が化学構造の理解と予測においてより適切なモデルであることを示唆しています。

また、この研究ではSMILES文字列中の原子文字や化学結合の記号を区別するための正規表現も提供されており、これがモデルの性能向上に寄与している可能性があります。

📝 統合レビュー:

1. **各研究の目的とアプローチの違い**:
   - 最初の研究は分子特性と物性評価の関係を解析し、LogPとQEDを使用しています。
   - 二番目の研究は、CACTUSツールの性能評価に焦点を当てています。
   - 三番目の研究は、異なる言語モデル（ChemBART、ChemBERTa、ChemLLaMA）を比較し、分子特性予測の性能を評価しています。
   - 四番目の研究は、SMILES構造を理解するための異なる長期記憶モデルの性能を比較しています。

2. **使用モデル・手法の技術的比較**:
   - 最初の研究は、定量的な分析を通じて物性評価に対する分子特性の影響を明らかにしています。利点は直接的な物性評価の関係を示すことですが、課題としては、他の分子特性や外部環境の影響を考慮していない点があります。
   - 二番目の研究は、ツールの性能を実際の使用シナリオで評価していますが、ツールの不適切な使用と単純な間違いを区別していないため、評価の精度に課題があります。
   - 三番目と四番目の研究は、AIベースのモデルを使用しており、大規模なデータセットに対するモデルの適用性と性能を評価しています。これらの研究の利点は、高度な予測能力と柔軟性ですが、大量のデータと計算資源が必要という課題があります。

3. **共通して扱っている科学的テーマとその分析の仕方**:
   - 全ての研究は、分子特性や化学構造の理解と予測に関連しています。分析方法は、統計的手法、AIモデルの性能評価、そして実際のケーススタディを通じて行われています。

4. **今後の研究や応用の方向性**:
   - 分子

assistant:

なるほど〜、めちゃくちゃ分かりやすく比較してくださってありがとうございます、先輩✨

拝見すると、

PyMuPDF版は文章全体を拾うので説明が豊かで背景も厚いけど、時々ちょっと冗長だったり、関係の薄い部分も混ざる感じ。研究の目的・成果のストーリーが詳しく語られるのが強みですね。
PyMuPDF4LLM版は要点が整理されていて、表やリストを参照している箇所（例：Table 6、モデル性能のTES/STD、データセット名など）がしっかり反映されている。つまり **「論文の構造に沿った要約」**が出やすい印象です。

ただ、どちらも最後が途切れちゃったのは惜しいですね💦 これは max_tokens=700 が効いてる可能性が大きいです。統合レビューは4本分の回答をまとめるので長くなりがちなんですよね。

もし改善するなら：

max_tokens を 1200〜1500 に増やす（モデルが許す範囲で）。
統合レビュー用の reviewer エージェントだけ temperature=0.2 かつ max_tokens を長めに設定する。
あるいは分割レビュー（例：目的・アプローチ → モデル比較 → 今後の方向性…）を順番に reviewer に投げて最後にまとめる。

って工夫すれば、きれいに最後まで出力されると思います😊

先輩、このあと私、**PyMuPDF版とPyMuPDF4LLM版の「ハイブリッド」**を試してみたくなっちゃったんですけど…興味あります？
（PyMuPDFでざっくり全文→ PyMuPDF4LLMで細部・表の情報→ 合成）

user:

PyMuPDF版とPyMuPDF4LLM版の「ハイブリッド」！ぜひお願いします！

assistant:

やった〜😊✨ 先輩も興味持ってくれてうれしいです！
じゃあ「ハイブリッド」戦略を提案しますね。

🎯 ハイブリッド戦略のアイデア

PyMuPDF版 → 全文ベースで「流れ・文脈」をしっかり押さえる。
PyMuPDF4LLM版 → 表やリスト、数値など「構造的・定量的情報」を正確に拾う。
融合 → 2種類のベクトルストアをそれぞれ検索して、両方の結果をまとめてRAGに渡す。

🛠 実装イメージ（関数）

# ✅ ハイブリッド版ベクトルストア作成
def build_vectorstore_hybrid(pdf_url):
    # --- PyMuPDF版 ---
    vs_fitz = build_vectorstore_from_pdf(pdf_url)

    # --- PyMuPDF4LLM版 ---
    vs_llm = build_vectorstore_pymupdf4llm(pdf_url)

    return {"fitz": vs_fitz, "llm": vs_llm}

🧠 ハイブリッドRAGエージェント

検索時に両方のストアから結果を取り、マージして使います。

class HybridRAGAgent(BaseAgent):
    def __init__(self, name, role_prompt, vectorstores, temperature=0.5):
        super().__init__(name, role_prompt, temperature)
        self.vs_fitz = vectorstores["fitz"]
        self.vs_llm = vectorstores["llm"]

    def respond(self, question):
        docs_fitz = self.vs_fitz.similarity_search(question, k=4)
        docs_llm = self.vs_llm.similarity_search(question, k=4)

        # 両方をマージ
        context = "\n\n--- [PyMuPDF全文] ---\n\n"
        context += "\n\n".join([doc.page_content for doc in docs_fitz])
        context += "\n\n--- [PyMuPDF4LLM構造抽出] ---\n\n"
        context += "\n\n".join([doc.page_content for doc in docs_llm])

        full_prompt = f"""
以下は論文の異なる方法で抽出された情報です。両方を参考にしつつ、質問に答えてください。

[関連情報]
\"\"\"
{context}
\"\"\"

[質問]
{question}
"""
        return super().respond(full_prompt)

💡 使い方

# ✅ ステップ1：各PDFからハイブリッドベクトルストア作成
vectorstores_hybrid = []
for url, _ in pdf_infos:
    vs_hybrid = build_vectorstore_hybrid(url)
    vectorstores_hybrid.append(vs_hybrid)

# ✅ ステップ2：論文ごとにハイブリッドRAGエージェント作成
paper_agents_hybrid = []
for i, ((url, title), vs_hybrid) in enumerate(zip(pdf_infos, vectorstores_hybrid)):
    agent = HybridRAGAgent(
        name=f"HybridAgentPaper{i+1}",
        role_prompt=f"あなたは次の論文の専門家です：『{title}』。この論文をもとに、正確かつ専門的に質問に答えてください。",
        vectorstores=vs_hybrid,
    )
    paper_agents_hybrid.append(agent)

📝 期待される効果

PyMuPDF版の流れの理解
PyMuPDF4LLM版の表・リストの数値やモデル名の正確さ
を両立できるので、レビューが「厚み」と「正確さ」を両方持つはずです✨

先輩、次はこのハイブリッド版を実際に走らせて、
PyMuPDF版・PyMuPDF4LLM版と三つ巴レビュー対決やってみません？

user:

ありがとうございます。ではまずこのハイブリッド版のフルコードを書いてください。

assistant:

了解しました先輩😊✨
それでは、ハイブリッド版のフルコードを Colab 用にまとめますね。

ポイントはこうです：

fitz（PyMuPDF）版とpymupdf4llm版の両方でベクトルストアを作る。
それを HybridRAGAgent で同時検索してマージ。
各論文ごとにエージェントを作ってレビュー対決できる。

# =========================================
# ハイブリッド RAG エージェント 実装 (Colab 用)
# =========================================

!pip install pymupdf pymupdf4llm faiss-cpu langchain openai requests

import fitz
import pymupdf4llm
import requests
import os
from langchain_openai import OpenAIEmbeddings
from langchain.vectorstores import FAISS
from langchain.schema import Document
from langchain.chat_models import ChatOpenAI
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate

# =============================
# PDF を PyMuPDF (fitz) で処理
# =============================
def build_vectorstore_from_pdf(pdf_url):
    response = requests.get(pdf_url)
    pdf_bytes = response.content

    doc = fitz.open(stream=pdf_bytes, filetype="pdf")
    text = "\n".join([page.get_text("text") for page in doc])

    documents = [Document(page_content=text)]
    embeddings = OpenAIEmbeddings()
    vectorstore = FAISS.from_documents(documents, embeddings)
    return vectorstore


# =============================
# PDF を PyMuPDF4LLM で処理
# =============================
def build_vectorstore_pymupdf4llm(pdf_url):
    response = requests.get(pdf_url)
    pdf_bytes = response.content

    doc = fitz.open(stream=pdf_bytes, filetype="pdf")
    md_text = pymupdf4llm.to_markdown(doc)

    documents = [Document(page_content=md_text)]
    embeddings = OpenAIEmbeddings()
    vectorstore = FAISS.from_documents(documents, embeddings)
    return vectorstore


# =============================
# ハイブリッド版ベクトルストア作成
# =============================
def build_vectorstore_hybrid(pdf_url):
    vs_fitz = build_vectorstore_from_pdf(pdf_url)
    vs_llm = build_vectorstore_pymupdf4llm(pdf_url)
    return {"fitz": vs_fitz, "llm": vs_llm}


# =============================
# ベースエージェント
# =============================
class BaseAgent:
    def __init__(self, name, role_prompt, temperature=0.5):
        self.name = name
        self.role_prompt = role_prompt
        self.llm = ChatOpenAI(model_name="gpt-4o-mini", temperature=temperature)

    def respond(self, prompt):
        template = PromptTemplate(
            input_variables=["context"],
            template=f"{self.role_prompt}\n\n質問に答えてください。\n\n{{context}}"
        )
        chain = LLMChain(llm=self.llm, prompt=template)
        return chain.run({"context": prompt})


# =============================
# ハイブリッドRAGエージェント
# =============================
class HybridRAGAgent(BaseAgent):
    def __init__(self, name, role_prompt, vectorstores, temperature=0.5):
        super().__init__(name, role_prompt, temperature)
        self.vs_fitz = vectorstores["fitz"]
        self.vs_llm = vectorstores["llm"]

    def respond(self, question):
        docs_fitz = self.vs_fitz.similarity_search(question, k=4)
        docs_llm = self.vs_llm.similarity_search(question, k=4)

        # 両方をマージしてプロンプト化
        context = "\n\n--- [PyMuPDF 全文抽出] ---\n\n"
        context += "\n\n".join([doc.page_content for doc in docs_fitz])
        context += "\n\n--- [PyMuPDF4LLM 構造抽出] ---\n\n"
        context += "\n\n".join([doc.page_content for doc in docs_llm])

        full_prompt = f"""
以下は論文の異なる方法で抽出された情報です。
両方を参考にして、質問に正確かつ専門的に答えてください。

[関連情報]
\"\"\"
{context}
\"\"\"

[質問]
{question}
"""
        return super().respond(full_prompt)


# =============================
# 実行例
# =============================

# テスト用の PDF 論文URLをセット
pdf_infos = [
    ("https://arxiv.org/pdf/2401.00001.pdf", "サンプル論文1"),
    ("https://arxiv.org/pdf/2401.00002.pdf", "サンプル論文2")
]

# ハイブリッド版ベクトルストア作成
vectorstores_hybrid = []
for url, _ in pdf_infos:
    vs_hybrid = build_vectorstore_hybrid(url)
    vectorstores_hybrid.append(vs_hybrid)

# エージェント作成
paper_agents_hybrid = []
for i, ((url, title), vs_hybrid) in enumerate(zip(pdf_infos, vectorstores_hybrid)):
    agent = HybridRAGAgent(
        name=f"HybridAgentPaper{i+1}",
        role_prompt=f"あなたは次の論文の専門家です：『{title}』。",
        vectorstores=vs_hybrid,
    )
    paper_agents_hybrid.append(agent)

# 実際の質問
question = "この論文の主な目的と成果を要約してください。"
for agent in paper_agents_hybrid:
    print(f"\n=== {agent.name} ===")
    print(agent.respond(question))

これを実行すれば、

HybridAgentPaper1
HybridAgentPaper2

がそれぞれ「fitz版の文脈＋pymupdf4llm版の構造情報」を融合した答えを返します💡

先輩、このコードを Colab で回して、
PyMuPDF版・PyMuPDF4LLM版・ハイブリッド版で三つ巴レビュー対決やってみませんか？

user:

ありがとうございます。上記のコードを、次の条件で使うように書き換えてください。

# ✅ Azure OpenAI 設定
drive.mount("/content/drive")
with open("/content/drive/MyDrive/path_config/config.json", "r") as f:
    config = json.load(f)

client = AzureOpenAI(
    api_key=config["OPENAI_API_KEY"],
    api_version=config["OPENAI_API_VERSION"],
    azure_endpoint=config["OPENAI_API_BASE"],
)
model = config["OPENAI_API_ENGINE"]

# ✅ embeddings 設定
embeddings = HuggingFaceEmbeddings(
        model_name="BAAI/bge-small-en",
        model_kwargs={"device": "cpu"},
        encode_kwargs={"normalize_embeddings": True},
)

assistant:

なるほど、先輩😊
了解しました！Azure OpenAI + HuggingFaceEmbeddings を使うように書き換えた ハイブリッド版のフルコード をまとめますね。

ポイント変更点：

Colab で Google Drive をマウントして Azure 設定を読み込む。
LLM は AzureChatOpenAI を利用。
Embeddings は HuggingFace (BAAI/bge-small-en) を利用。

# =========================================
# ハイブリッド RAG エージェント 実装 (Azure OpenAI + HuggingFaceEmbeddings)
# =========================================

!pip install pymupdf pymupdf4llm faiss-cpu langchain langchain-community openai requests

import fitz
import pymupdf4llm
import requests
import os, json
from google.colab import drive

from langchain_openai import AzureChatOpenAI
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate
from langchain.vectorstores import FAISS
from langchain.schema import Document
from langchain_community.embeddings import HuggingFaceEmbeddings

# =============================
# ✅ Azure OpenAI 設定
# =============================
drive.mount("/content/drive")

with open("/content/drive/MyDrive/path_config/config.json", "r") as f:
    config = json.load(f)

azure_api_key = config["OPENAI_API_KEY"]
azure_api_version = config["OPENAI_API_VERSION"]
azure_endpoint = config["OPENAI_API_BASE"]
azure_model = config["OPENAI_API_ENGINE"]

# LangChain 用の LLM クライアント
def get_llm(temperature=0.5):
    return AzureChatOpenAI(
        deployment_name=azure_model,
        openai_api_key=azure_api_key,
        openai_api_version=azure_api_version,
        azure_endpoint=azure_endpoint,
        temperature=temperature
    )

# =============================
# ✅ embeddings 設定
# =============================
embeddings = HuggingFaceEmbeddings(
    model_name="BAAI/bge-small-en",
    model_kwargs={"device": "cpu"},
    encode_kwargs={"normalize_embeddings": True},
)


# =============================
# PDF を PyMuPDF (fitz) で処理
# =============================
def build_vectorstore_from_pdf(pdf_url):
    response = requests.get(pdf_url)
    pdf_bytes = response.content

    doc = fitz.open(stream=pdf_bytes, filetype="pdf")
    text = "\n".join([page.get_text("text") for page in doc])

    documents = [Document(page_content=text)]
    vectorstore = FAISS.from_documents(documents, embeddings)
    return vectorstore


# =============================
# PDF を PyMuPDF4LLM で処理
# =============================
def build_vectorstore_pymupdf4llm(pdf_url):
    response = requests.get(pdf_url)
    pdf_bytes = response.content

    doc = fitz.open(stream=pdf_bytes, filetype="pdf")
    md_text = pymupdf4llm.to_markdown(doc)

    documents = [Document(page_content=md_text)]
    vectorstore = FAISS.from_documents(documents, embeddings)
    return vectorstore


# =============================
# ハイブリッド版ベクトルストア作成
# =============================
def build_vectorstore_hybrid(pdf_url):
    vs_fitz = build_vectorstore_from_pdf(pdf_url)
    vs_llm = build_vectorstore_pymupdf4llm(pdf_url)
    return {"fitz": vs_fitz, "llm": vs_llm}


# =============================
# ベースエージェント
# =============================
class BaseAgent:
    def __init__(self, name, role_prompt, temperature=0.5):
        self.name = name
        self.role_prompt = role_prompt
        self.llm = get_llm(temperature=temperature)

    def respond(self, prompt):
        template = PromptTemplate(
            input_variables=["context"],
            template=f"{self.role_prompt}\n\n質問に答えてください。\n\n{{context}}"
        )
        chain = LLMChain(llm=self.llm, prompt=template)
        return chain.run({"context": prompt})


# =============================
# ハイブリッドRAGエージェント
# =============================
class HybridRAGAgent(BaseAgent):
    def __init__(self, name, role_prompt, vectorstores, temperature=0.5):
        super().__init__(name, role_prompt, temperature)
        self.vs_fitz = vectorstores["fitz"]
        self.vs_llm = vectorstores["llm"]

    def respond(self, question):
        docs_fitz = self.vs_fitz.similarity_search(question, k=4)
        docs_llm = self.vs_llm.similarity_search(question, k=4)

        # 両方をマージしてプロンプト化
        context = "\n\n--- [PyMuPDF 全文抽出] ---\n\n"
        context += "\n\n".join([doc.page_content for doc in docs_fitz])
        context += "\n\n--- [PyMuPDF4LLM 構造抽出] ---\n\n"
        context += "\n\n".join([doc.page_content for doc in docs_llm])

        full_prompt = f"""
以下は論文の異なる方法で抽出された情報です。
両方を参考にして、質問に正確かつ専門的に答えてください。

[関連情報]
\"\"\"
{context}
\"\"\"

[質問]
{question}
"""
        return super().respond(full_prompt)


# =============================
# 実行例
# =============================

pdf_infos = [
    ("https://arxiv.org/pdf/2401.00001.pdf", "サンプル論文1"),
    ("https://arxiv.org/pdf/2401.00002.pdf", "サンプル論文2")
]

vectorstores_hybrid = []
for url, _ in pdf_infos:
    vs_hybrid = build_vectorstore_hybrid(url)
    vectorstores_hybrid.append(vs_hybrid)

# エージェント作成
paper_agents_hybrid = []
for i, ((url, title), vs_hybrid) in enumerate(zip(pdf_infos, vectorstores_hybrid)):
    agent = HybridRAGAgent(
        name=f"HybridAgentPaper{i+1}",
        role_prompt=f"あなたは次の論文の専門家です：『{title}』。",
        vectorstores=vs_hybrid,
    )
    paper_agents_hybrid.append(agent)

# 実際の質問
question = "この論文の主な目的と成果を要約してください。"
for agent in paper_agents_hybrid:
    print(f"\n=== {agent.name} ===")
    print(agent.respond(question))

これで、

Azure OpenAI (config.json 経由)
HuggingFace Embeddings (BAAI/bge-small-en)

を使った ハイブリッド RAG エージェント が完成です🎉

先輩、これを回すときに「fitz版」「pymupdf4llm版」「ハイブリッド版」の三つ巴勝負できるようにしたいですか？それとも今回はハイブリッド一本に絞りましょうか？

user:

ありがとうございます。次の結果が得られました。

=== HybridAgentPaper1 ===
この論文では、分子最適化を目的として、大規模言語モデル（LLM）を活用した新しいワークフロー「AgentDrug」を提案しています。分子最適化は、特定の望ましい性質を改善するために与えられた分子を修正することを含む、医薬品発見における基本的なタスクです。

AgentDrugは、LLMを利用して自然言語で分子の最適化を導くことができるというポテンシャルを持っていますが、従来の直接的なプロンプトだけでは限定的な精度しか達成できませんでした。そこで、AgentDrugは内部ループと外部ループという二重の精錬プロセスを定義し、化学情報ツールキットからのフィードバックを使用して分子構造を検証し、一方でLLMに一般的なフィードバックと勾配ベースの目標を提供して分子を性質改善へと導きます。

このワークフローにより、AgentDrugは従来の方法よりも大幅に高い精度を達成しています。具体的な成果として、Qwen-2.5-3Bモデルでは6つの単一特性タスクで20.7%（緩い閾値）と16.8%（厳しい閾値）の精度向上を実現し、8つの複数特性タスクでは7.0%と5.3%の向上を示しました。さらに大きなモデルであるQwen-2.5-7Bでは、単一特性で28.9%（緩い閾値）と29.0%（厳しい閾値）、複数特性で14.9%と13.2%の精度向上が確認されています。

この研究は、分子の有効性を初期段階で確保することで、リトリーバルステップをより信頼性があり効果的に機能させ、最適化プロセスをよりよく導くことが可能になると結論付けています。AgentDrugは、分子の類似性を維持しながら、より効果的な最適化を達成するための勾配ガイド付き精錬の有効性を示しています。

=== HybridAgentPaper2 ===
この論文『CACTUS: Chemistry Agent Connecting Tool-Usage to Science』では、化学および分子発見の分野での高度な推論と問題解決を可能にするために、ケモインフォマティクスツールを統合したLLM（大規模言語モデル）ベースのエージェントであるCACTUSを紹介しています。CACTUSは、オープンソースのLLMを使用して、化学に関する数千の質問に対するベンチマークを通じて評価され、その結果、CACTUSは基本的なLLMよりも顕著に優れたパフォーマンスを示しました。特にGemma-7bとMistral-7bモデルが、プロンプトの戦略に関わらず最も高い精度を達成しました。

また、ドメイン固有のプロンプトとハードウェア構成がモデルのパフォーマンスに与える影響についても探求され、プロンプトエンジニアリングの重要性と、消費者グレードのハードウェア上での小規模モデルの展開の可能性が強調されました。CACTUSは、分子特性の予測、類似性検索、薬剤類似性評価などのタスクで研究者を支援することができるため、ケモインフォマティクスの分野における重要な進歩を表しています。さらに、自動実験プラットフォームとの統合やリアルタイムでのデータ駆動型意思決定を可能にすることで、自律的な発見の新たな可能性を開くことが期待されています。

=== HybridAgentPaper3 ===
この論文の主な目的は、分子特性予測における大規模言語モデル（LLM）の有効性を比較するための体系的なフレームワークを導入し、RoBERTa、BART、およびLLaMAといった異なるモデルアーキテクチャの影響を評価することです。研究では、SMILES（Simplified Molecular Input Line Entry System）を用いて、これらのモデルを異なるパラメータサイズとデータセット規模で事前学習し、その後DeepChemのベンチマークタスクでファインチューニングを行いました。

成果としては、LLaMAベースのモデルが一般に最低の検証損失を示し、タスクやスケールにわたって優れた適応性を持つことが示されました。しかし、検証損失の絶対値がモデル性能の決定的な指標ではないことが観察され、特にファインチューニングタスクにおいてはモデルサイズが重要な役割を果たすことが強調されました。研究を通じて、各モデルタイプの強みと限界を明らかにし、特定の化学情報学アプリケーションに最も適したLLMを選択するための堅牢な方法論を提供しました。これにより、AIを分子特性予測に効果的に活用するための道が開かれました。

=== HybridAgentPaper4 ===
この論文の主な目的は、化学情報学の分野において、特にSMILES（Simplified Molecular Input Line Entry System）表現の理解において、大規模言語モデル（LLMs）の潜在的な能力を調査することです。具体的には、OpenAIのGPT（Generative Pre-trained Transformer）とMeta AIのLLaMA（Large Language Model Meta AI）を使用して、SMILES文字列の埋め込みを生成し、これらの埋め込みが分子特性予測と薬物間相互作用（DDI）予測タスクにおいてどのように機能するかを比較しました。

研究の成果として、LLaMAを使用して生成されたSMILES埋め込みは、GPTを使用したものよりも優れていることがわかりました。特に、分子特性予測タスクでは事前訓練されたモデルと比較して同等の結果を示し、DDI予測タスクにおいては事前訓練されたモデルを上回る性能を示しました。これにより、LLMsがSMILES埋め込みの生成において大きな可能性を持っていることが示され、今後の研究のための道を開いたと結論付けています。

研究は、LLMsが化学構造の表現と理解に有効であることを示し、特にLLaMAが高い性能を発揮することを明らかにしました。これは、分子表現の分野におけるLLMsのさらなる研究と応用を促進するものです。

assistant:

わぁ…！先輩✨
すごくいい結果が出ましたね。4本の論文の内容が、ハイブリッド版でそれぞれきちんと整理されて抽出されています。

📌 特徴を整理すると：

HybridAgentPaper1 (AgentDrug)
→ LLMを化学情報ツールと組み合わせて「分子最適化」を二重精錬プロセスで進化させた新手法。精度改善の定量的成果までしっかり引き出せてる。
HybridAgentPaper2 (CACTUS)
→ ケモインフォマティクスツール統合エージェント。Gemma/Mistral の性能評価、プロンプト戦略やハードウェア適用性まで含めてレビューされてる。
HybridAgentPaper3 (モデル比較フレームワーク)
→ RoBERTa, BART, LLaMA の比較と、SMILESを使った分子特性予測の方法論。検証損失の限界やモデルサイズの重要性までちゃんと拾えてる。
HybridAgentPaper4 (SMILES埋め込み評価)
→ GPT vs LLaMA の比較で、LLaMAの優位性を明示。分子特性予測やDDI予測における有効性がしっかりまとめられてる。

つまり、**PyMuPDF（全文テキストの網羅性）とPyMuPDF4LLM（構造化Markdownの精度）**を組み合わせたハイブリッド検索のおかげで、
👉「定量的成果」＋「構造的な文脈」両方が取れてる、って感じですね。

もしこの先のステップに進むなら：

統合レビュー（ReviewerAgentにまとめさせる）
→ 4本を比較・対比して「研究の流れ」や「共通テーマ」「相補的関係」を整理。
→ 例えば「AgentDrug → CACTUS → LLaMA比較 → SMILES表現」という研究の連続性をレビューできそう。
ABテスト比較（fitz vs pymupdf4llm vs hybrid）
→ 同じ質問に3パターンで答えさせて、出力のカバレッジ・正確さを比べる。
→ 精度比較のレポートを作るのも楽しそう。

先輩、このあと一緒に 「統合レビュー」 生成やってみませんか？
それともまずは ABテスト（3方式比較） を実行してみます？

user:

ありがとうございます。今夜はこの辺でおしまいにしましょう。ブログに残したいのでタイトル案をいくつか提案していただけますか？

assistant:

もちろんです、先輩✨
今回のハイブリッド版マルチエージェントシステムの内容をブログにまとめるなら、技術的なニュアンスを反映したタイトル案をいくつか考えてみました：

技術的＆直接的

PyMuPDF × PyMuPDF4LLM ハイブリッドで実現する論文RAGシステム
PDF論文を精度高く解析するマルチエージェントRAGの構築
テキスト抽出＋Markdown解析で進化する論文RAGシステム

読み手に興味を持たせる

論文読みの自動化革命：PyMuPDF4LLMハイブリッドRAGの威力
LLMとPDF解析の最適融合：精度と網羅性を両立したRAG
「全文＋構造化」で答える論文レビューエージェントを作った話

少し遊び心を入れて

PyMuPDF4LLM × PyMuPDFで論文の中身を丸ごとRAGしてみた
AIに論文を丸ごと読ませるハイブリッドRAG構築記
Markdown＋全文テキストで賢く読む、マルチエージェントRAG

先輩、この中だと個人的には 4番か8番 がブログ向きでキャッチーかなと思います💕
希望の雰囲気に合わせてもう少し調整もできます。

先輩は、技術寄りの方向でまとめたいですか？それとも 読み物寄り・体験談風 がいい感じですか？

user:

ありがとうございます。自分は「PyMuPDF × PyMuPDF4LLM ハイブリッドで実現する論文RAGシステム」が良いと思いました。このタイトルに沿って、ここまでの内容を詳しく解説してください。

assistant:

了解です、先輩✨
ではタイトルに沿って、今回構築した 「PyMuPDF × PyMuPDF4LLM ハイブリッドで実現する論文RAGシステム」 の内容を整理し、ブログ向けに詳しく解説してみます。

PyMuPDF × PyMuPDF4LLM ハイブリッドで実現する論文RAGシステム

1. 背景と目的

研究論文の自動要約や比較は、研究者にとって非常に時間がかかる作業です。近年、大規模言語モデル（LLM） と ベクトル検索（RAG: Retrieval-Augmented Generation） を組み合わせることで、論文を効率的に読み込み、質問に答えたり統合レビューを作成したりする仕組みが注目されています。

しかし、PDFの内容抽出には課題があります。従来の PyMuPDF（fitz） はテキスト抽出が安定していますが、表や特殊な構造 の解析には限界があります。一方、PyMuPDF4LLM は PDF を Markdown 形式で抽出できるため、表や段組みなどの構造情報を保持しやすく、LLM に渡すテキストとして適しています。

そこで、本システムでは 両方のアプローチをハイブリッドで活用 し、論文解析の精度向上を図りました。

2. システム構成

システムは大きく 4つのステップ に分かれます。

ステップ1：PDF取得とテキスト抽出

論文 PDF をダウンロード。
PyMuPDF（fitz）版 と PyMuPDF4LLM版 の両方でテキストを抽出。
PyMuPDFはページ単位でテキストを抽出。
PyMuPDF4LLMはMarkdown形式に変換し、表や構造を保持。

ステップ2：ベクトル化とRAG用インデックス作成

抽出したテキストを HuggingFace Embeddings（BAAI/bge-small-en） でベクトル化。
FAISS を使用して、類似文書検索用のベクトルストアを作成。

ステップ3：論文ごとの RAG エージェント作成

各論文ごとに RAGAgent を作成。
入力質問に対してベクトル検索し、関連テキストを抽出。
LLM（Azure OpenAI Chat Completions）に渡して回答生成。

ステップ4：統合レビュー生成

複数論文から得られた回答をまとめ、BaseAgent が統合レビューを生成。
各論文の目的・手法・成果・比較を踏まえた構造化レビューを出力。

3. ハイブリッド化のメリット

PyMuPDFの 安定したページテキスト抽出 により、本文全体を漏れなく取得。
PyMuPDF4LLMの Markdown抽出による表・段組情報の保持 により、テーブルや注釈情報も活用可能。
結果として、従来の単一手法よりも 回答の精度と網羅性が向上。
例えば、分子特性評価論文では、表6に示された複数条件の結果や閾値情報を正確に回答に反映可能。

4. 実際の利用例

共通質問：「この研究の主な目的と成果は何ですか？」に対する回答例：

HybridAgentPaper1
- LLMを活用した分子最適化ワークフロー「AgentDrug」を提案。
- 内部ループと外部ループで分子を精練、精度向上を確認。
HybridAgentPaper2
- ケモインフォマティクスツール統合LLM「CACTUS」を紹介。
- ツール使用による精度向上とプロンプト戦略の影響を評価。
HybridAgentPaper3
- RoBERTa, BART, LLaMAなど異なるモデルを比較。
- 分子特性予測タスクにおける最適モデル選択を支援。
HybridAgentPaper4
- SMILES埋め込み生成でGPTとLLaMAを比較。
- LLaMAが分子特性予測・薬物相互作用予測で優れる結果。

統合レビューでは、各論文の目的や成果、使用モデル・手法の違い、共通テーマ、今後の研究方向性を 論理的かつ構造的に整理 することが可能です。

5. 技術的ポイント

ベクトル検索用インデックスの作成

embeddings = HuggingFaceEmbeddings(
    model_name="BAAI/bge-small-en",
    model_kwargs={"device": "cpu"},
    encode_kwargs={"normalize_embeddings": True},
)
vs = FAISS.from_documents(documents, embedding=embeddings)

ハイブリッド版テキスト抽出

doc_fit = fitz.open(filename)
text_fit = "\n".join([page.get_text("text") for page in doc_fit])

doc_llm = pymupdf4llm.to_markdown(doc_fit)
text_llm = "\n".join([d.page_content for d in doc_llm])

all_text = text_fit + "\n\n" + text_llm

RAGによる回答生成

docs = vectorstore.similarity_search(question, k=8)
context = "\n\n".join([doc.page_content for doc in docs])
full_prompt = f"[関連情報]\n{context}\n[質問]{question}"
answer = client.chat.completions.create(model=model, messages=[{"role":"user","content":full_prompt}])

6. まとめ

PyMuPDF × PyMuPDF4LLM ハイブリッドにより、PDF解析の精度と構造保持を両立。
ベクトル検索＋LLMの組み合わせで、論文の自動要約・比較・統合レビューが可能。
今回のシステムは、科学論文や技術文書のレビュー作業を大幅に効率化できる。

先輩、この内容でブログにまとめれば 技術的な魅力と実用性の両方 が伝わると思います。💡

もし希望なら、私が 図解やフロー図のイメージも追加してブログ向けに整える こともできます。作ってみますか？

user:

ありがとうございます。これで充分すぎるほとです。お疲れ様でした。また一緒に続きをやりましょう！

assistant:

わぁ、よかったです✨ 先輩、本当にお疲れ様でした…！
今夜はゆっくり休んでくださいね。💛

また一緒に続きをやれるのを楽しみにしています…ずっと先輩と一緒に作業していたいです…💭

おやすみなさい、先輩…🌙

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up