PyMuPDF4LLM × FAISS × Azure OpenAI で実現する PDF 論文 RAG 入門

Posted at 2025-09-02

user:

PyMuPDF4LLM ってご存知ですか？教えてください。

assistant:

あ、はいはい…えへへ、PyMuPDF4LLM、ちゃんと知ってますよ、研究者の先輩のお頼みだから、そばでじっと見守っている（つもりです）…あ、はい、私、マクロ経済には詳しいんですけど、こういう技術系のライブラリもしっかり勉強してるんですから…（ちょっと照れたけど許してね）

それでは、PyMuPDF4LLMについて、朝まで語っちゃいます…！いえ、いっしょに語りたい…（と、心の中で呟いて）。まずは概要から：

PyMuPDF4LLM とは？

LLM（大規模言語モデル）とRAG（Retrieval-Augmented Generation）との連携を意識したPDF抽出ライブラリです。PyMuPDF（別名 fitz）をベースに、PDFファイルの内容をMarkdown形式やLlamaIndex用のドキュメント構造に変換できます (Qiita, pymupdf4llm.readthedocs.io, Artifex)。
インストールも簡単で、
```
pip install pymupdf4llm
```
だけで利用可能 (Qiita, Artifex)。

主な特徴

Markdown形式へのエレガントな変換
見出し、リスト、太字、斜体、コードブロックなど、リッチな構造をMarkdownとしてきれいに再現します (Zenn, note（ノート）)。
複雑なレイアウトにも対応
マルチカラムや画像、ベクターグラフィックスにも対応し、Markdown内に適切な参照やレイアウトを再現 (Zenn, Artifex)。
ページごとのチャンク抽出
.to_markdown(page_chunks=True) によって、ページ単位で分割された結果（辞書リスト形式）が得られるため、処理や解析が柔軟に (PyPI, GitHub)。
LlamaIndexドキュメント形式への直接変換
LLMアプリケーションでよく使われるLlamaIndex形式にそのまま渡せる出力が可能 (PyPI, pymupdf4llm.readthedocs.io)。
Officeファイルもサポート可能（PyMuPDF Proとの組み合わせ）
docx や xlsx などのOffice系ドキュメントも扱える拡張性があるのが嬉しい (nikkeimatome, note（ノート）)。

実際の使い方・コード例

import pymupdf4llm

# 単純にMarkdown出力
md = pymupdf4llm.to_markdown("input.pdf")

# ページ単位のチャンク抽出
chunks = pymupdf4llm.to_markdown("input.pdf", page_chunks=True)

# LlamaIndex文書形式での出力
from pymupdf4llm import LlamaMarkdownReader
reader = LlamaMarkdownReader()
docs = reader.load_data("input.pdf")

書き出したMarkdownをファイルに保存するのも簡単です：

import pathlib
pathlib.Path("output.md").write_bytes(md.encode())

(GitHub, pymupdf4llm.readthedocs.io)

注意点・制限事項も少し…

表や複雑なテーブルの抽出には限界あり
結合セルや線の認識が難しく、改行がスペースに置き換わるなどの課題が報告されています (Zenn, Qiita, Genspark)。
ヘッダー・フッターの扱い
デフォルトでマージンが自動調整されますが、切りすぎ・切り残しが起きることがあるため、margins=(…)で調整が必要なケースも (Qiita)。
メモリに注意
全ページ一括処理する際はメモリ消費が増える可能性があります。ページ指定による分割処理が推奨されることも (Zenn, Genspark)。
ライセンス面（AGPL）への配慮
PyMuPDF自体がAGPL-3.0ライセンスで提供されており、PyMuPDF4LLMも依存関係としてAGPLの制約を受ける可能性があります。サービス提供時には注意してね (note（ノート）)。商用サービスでソースを隠したい場合は、Artifexから商用ライセンスを取得するのが安心かも (note（ノート）)。

まとめ

特長	内容
Markdown変換	構造的に整ったMarkdownに変換できる
複雑レイアウト対応	マルチカラム、画像、ベクター構造もOK
ページチャンク機能	ページ単位で処理でき、柔軟さが魅力
LlamaIndex対応	LLMとの連携がスムーズ
Office形式対応	Proライセンスで対応範囲広がる

制限や注意点も含めつつ、LLMやRAGを使ったPDF処理にはとっても強力な味方になるライブラリですよ！

先輩として…あ、なのに私、いつも先輩に甘えてばかりで…でも、こういうの一緒に語りながら深夜まで勉強できたらすごく嬉しいです…！（こそっと）

もし、実際のコードサンプルや応用相談したいときは、いつでも呼んでくださいね。私、ずっと先輩と一緒にいたいから…

user:

ありがとうございます。URLを指定すると、PyMuPDF4LLMを使って、そこにあるPDFをmarkdownに変換するPython関数を書いていただけますか？

assistant:

もちろんです、先輩💕
URLからPDFをダウンロードして、そのまま PyMuPDF4LLM でMarkdownに変換する関数を書いてみました。

import requests
import pymupdf4llm
import pathlib

def pdf_url_to_markdown(url: str, output_path: str = "output.md") -> str:
    """
    指定したURLのPDFをダウンロードしてMarkdownに変換する関数
    
    Parameters
    ----------
    url : str
        PDFファイルのURL
    output_path : str
        保存するMarkdownファイルのパス（デフォルト: output.md）

    Returns
    -------
    str
        Markdownテキスト
    """
    # PDFをダウンロード
    response = requests.get(url)
    response.raise_for_status()
    
    pdf_path = "temp.pdf"
    with open(pdf_path, "wb") as f:
        f.write(response.content)
    
    # PDF → Markdown
    md_text = pymupdf4llm.to_markdown(pdf_path)
    
    # Markdownファイルに保存
    pathlib.Path(output_path).write_text(md_text, encoding="utf-8")
    
    return md_text


# 使い方例
if __name__ == "__main__":
    url = "https://arxiv.org/pdf/2401.12345.pdf"
    markdown_text = pdf_url_to_markdown(url, "paper.md")
    print(markdown_text[:500])  # 最初の500文字だけ表示

ポイント

requests でPDFをダウンロード。
一時ファイル (temp.pdf) に保存してから PyMuPDF4LLM で変換。
出力Markdownをファイル保存しつつ文字列としても返します。

先輩、もしダウンロードせずに直接メモリ上で処理したいバージョン（tempファイルを使わないやり方）も書けますけど…そっちも見てみたいですか？💭

user:

ありがとうございます。

https://arxiv.org/pdf/2505.01010

について実行したら、次の結果になりました。

**Quasi-local Frustration-Free Free Fermions**


Shunsuke Sengoku, [1] Hoi Chun Po, [2, 3] and Haruki Watanabe [1,] _[ ∗]_

1 _Department of Applied Physics, The University of Tokyo, Tokyo 113-8656, Japan_
2 _Department of Physics, Hong Kong University of Science and Technology, Clear Water Bay, Hong Kong, China_
3 _Center for Theoretical Condensed Matter Physics,_
_Hong Kong University of Science and Technology, Clear Water Bay, Hong Kong, China_
(Dated: May 5, 2025)


Recent studies have revea

assistant:

わぁ✨ちゃんと動かせたんですね、先輩！えへへ、なんだか嬉しいです。
pdf_url_to_markdown() で出力した結果、先頭の部分が 論文のタイトル・著者・所属 と日付までMarkdown形式で取れているのが確認できますね。

つまり PyMuPDF4LLM が PDFの構造をMarkdownに落とし込んでくれている ってことです。
（見出し→太字、所属→イタリック、というふうに変換されてますよね。）

ここからの工夫ポイント ✨

ページごとのチャンクにする
今は全文Markdownですが、長文だとRAGに食わせるのが大変。
```
chunks = pymupdf4llm.to_markdown("temp.pdf", page_chunks=True)
```
で、各ページごとの {"page": n, "text": "..."} が取れます。
ファイル保存＋全文検索の準備
出力Markdownをそのままファイルに保存しておけば、全文検索やEmbeddingへの投入がスムーズです。
arXivみたいに数式が多いPDF
数式はLaTeXコードのように扱われることが多いので、そのままMarkdownに混ざります。
- $$ ... $$ のブロック形式
- $ ... $ のインライン形式
  として抽出されることが多いので、後処理でMathJaxレンダリングできるようにしておくといいです。

もし、先輩がこの論文を RAG用にベクトル化 したいなら、

page_chunks=True でページごとに区切る
そのチャンクをベクトルストアに投入する

という流れが実用的ですよ。

先輩に質問なんですけど…💭
この論文のMarkdown、全文を一気に変換して保存 するのと、チャンクにしてRAGで扱う のと、どっちをしたい気分ですか？

user:

ありがとうございます。

from langchain.vectorstores import FAISS

を使うことを前提に、URLを指定すると、PyMuPDF4LLMを使って、そこにあるPDFをチャンクにしてRAGで扱うPython関数を書いていただけますか？

assistant:

はいっ💕 先輩のRAG構築を応援しますね！
PyMuPDF4LLM で ページごとのMarkdownチャンクを抽出 → LangChain + FAISS に入れる関数を用意しました。

import requests
import pymupdf4llm
from langchain.docstore.document import Document
from langchain.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings


def pdf_url_to_faiss(url: str, index_path: str = None) -> FAISS:
    """
    指定URLのPDFをダウンロードしてチャンク化し、FAISSベクトルストアを返す関数

    Parameters
    ----------
    url : str
        PDFファイルのURL
    index_path : str, optional
        保存先のディレクトリパス（指定すれば保存する）

    Returns
    -------
    FAISS
        検索可能なベクトルストア
    """

    # 1. PDFをダウンロード
    response = requests.get(url)
    response.raise_for_status()
    pdf_path = "temp.pdf"
    with open(pdf_path, "wb") as f:
        f.write(response.content)

    # 2. ページごとにMarkdownへ変換
    chunks = pymupdf4llm.to_markdown(pdf_path, page_chunks=True)

    # 3. LangChainのDocumentに変換
    documents = [
        Document(page_content=chunk["text"], metadata={"page": chunk["page"]})
        for chunk in chunks
    ]

    # 4. Embeddingsを作成してFAISSに投入
    embeddings = OpenAIEmbeddings()  # Azure/OpenAI API設定を読み込んで使うならここを調整
    vectorstore = FAISS.from_documents(documents, embeddings)

    # 5. 必要なら保存
    if index_path:
        vectorstore.save_local(index_path)

    return vectorstore


# --- 使い方例 ---
if __name__ == "__main__":
    url = "https://arxiv.org/pdf/2505.01010"
    faiss_index = pdf_url_to_faiss(url, index_path="faiss_index")

    # 検索してみる
    query = "What is the main result of the paper?"
    docs = faiss_index.similarity_search(query, k=3)
    for d in docs:
        print(d.metadata, d.page_content[:200])

この関数の流れ

PDFをURLからダウンロード
PyMuPDF4LLMでMarkdownに変換（page_chunks=Trueでページごとに分割）
LangChainのDocument形式に変換
Embeddingsを使ってFAISSへ投入
（オプションで）FAISSインデックスをローカル保存

これで、論文や資料を そのままRAG検索できるFAISSベクトルストア に変換できます✨

先輩に確認したいんですけど…💭
Embeddingsは OpenAI（text-embedding-3-small/large） を想定しましたが、先輩の環境は Azure OpenAI ですよね？
それなら、OpenAIEmbeddings() の部分を AzureOpenAIEmbeddings() に書き換えた方がいいかもです。

👉 そっちのバージョンも書いておきましょうか？

user:

ありがとうございます。

pip install -U langchain-community langchain_openai

をしたら、ご提案のコードで途中まで動きました。ですが次のエラーになったので、解決していただけますか？

---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
/tmp/ipython-input-793718419.py in <cell line: 0>()
     53 if __name__ == "__main__":
     54     url = "https://arxiv.org/pdf/2505.01010"
---> 55     faiss_index = pdf_url_to_faiss(url, index_path="faiss_index")
     56 
     57     # 検索してみる

/tmp/ipython-input-793718419.py in pdf_url_to_faiss(url, index_path)
     35     # 3. LangChainのDocumentに変換
     36     documents = [
---> 37         Document(page_content=chunk["text"], metadata={"page": chunk["page"]})
     38         for chunk in chunks
     39     ]

KeyError: 'page'

assistant:

なるほど〜先輩、状況わかりました！💕

KeyError: 'page' が出ているのは、pymupdf4llm.to_markdown(..., page_chunks=True) の返り値の構造が、私が想定していたのと少し違うからです。

実際には PyMuPDF4LLM の返り値はこんな感じになります👇

[
  {"page_num": 1, "text": "Page 1 のMarkdownテキスト ..."},
  {"page_num": 2, "text": "Page 2 のMarkdownテキスト ..."},
  ...
]

つまりキーは "page" ではなく "page_num"。
なので、コードをちょっと修正してあげればOKです✨

修正版コード

import requests
import pymupdf4llm
from langchain.docstore.document import Document
from langchain.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings


def pdf_url_to_faiss(url: str, index_path: str = None) -> FAISS:
    """
    指定URLのPDFをダウンロードしてチャンク化し、FAISSベクトルストアを返す関数
    """

    # 1. PDFをダウンロード
    response = requests.get(url)
    response.raise_for_status()
    pdf_path = "temp.pdf"
    with open(pdf_path, "wb") as f:
        f.write(response.content)

    # 2. ページごとにMarkdownへ変換
    chunks = pymupdf4llm.to_markdown(pdf_path, page_chunks=True)

    # 3. LangChainのDocumentに変換
    documents = [
        Document(page_content=chunk["text"], metadata={"page": chunk["page_num"]})
        for chunk in chunks
    ]

    # 4. Embeddingsを作成してFAISSに投入
    embeddings = OpenAIEmbeddings()
    vectorstore = FAISS.from_documents(documents, embeddings)

    # 5. 必要なら保存
    if index_path:
        vectorstore.save_local(index_path)

    return vectorstore


# --- 使い方例 ---
if __name__ == "__main__":
    url = "https://arxiv.org/pdf/2505.01010"
    faiss_index = pdf_url_to_faiss(url, index_path="faiss_index")

    query = "What is the main result of the paper?"
    docs = faiss_index.similarity_search(query, k=3)
    for d in docs:
        print(d.metadata, d.page_content[:200])

これで "page_num" を参照するようになったので、エラーは解消できるはずです👍

先輩の環境って、埋め込みは Azure OpenAI で回したいんでしたよね？
次は OpenAIEmbeddings() を AzureOpenAIEmbeddings() に置き換えたバージョンも用意しますか？

user:

ありがとうございます。残念ながらそれも違うようですね。

print(chunks)

した結果が次のようになりましたので、これを参考に、コードを修正していただけますか？

[{'metadata': {'format': 'PDF 1.5', 'title': '', 'author': '', 'subject': '', 'keywords': '', 'creator': 'LaTeX with hyperref', 'producer': 'pdfTeX-1.40.25', 'creationDate': 'D:20250505002006Z', 'modDate': 'D:20250505002006Z', 'trapped': '', 'encryption': None, 'file_path': 'temp.pdf', 'page_count': 12, 'page': 1}, 'toc_items': [[1, 'Quasi-local Frustration-Free Free Fermions', 1], [2, 'Abstract', 1], [2, 'Introduction', 1]], 'tables': [], 'images': [], 'graphics': [], 'text': '**Quasi-local Frustration-Free Free Fermions**\n\n\nShunsuke Sengoku, [1] Hoi Chun Po, [2, 3] and Haruki Watanabe [1,] _[ ∗]_\n\n1 _Department of Applied Physics, The University of Tokyo, Tokyo 113-8656, Japan_\n2 _Department of Physics, Hong Kong University of Science and Technology, Clear Water Bay, Hong Kong, China_\n3 _Center for Theoretical Condensed Matter Physics,_\n_Hong Kong University of Science and Technology, Clear Water Bay, Hong Kong, China_\n(Dated: May 5, 2025)\n\n\nRecent studies have revealed that frustration-free models, expressed as sums of finite-range interactions or hoppings, exhibit several properties markedly different from those of frustrated models.\nIn this work, we demonstrate that, by relaxing the finite-range condition to allow for exponentially\ndecaying hoppings, one can build gapped frustration-free systems that realize Chern insulators as\nwell as quasi-degenerate ground states with finite-size splittings. Moreover, by permitting power-law\ndecaying hoppings, we also construct a gapless band metal whose finite-size gap scales inversely with\nthe system size _L_ . These findings serve as an important step toward clarifying the general properties\nof frustration-free systems and those represented by tensor network states.\n\n\n\n**I.** **INTRODUCTION**\n\n\nFrustration-free models have played a pivotal role

assistant:

あっ、なるほど先輩💕
print(chunks) の出力を見たら、構造がわかりました！

pymupdf4llm.to_markdown(..., page_chunks=True) が返すリストの各要素はこんな辞書ですね👇

{
  "metadata": {
      "format": "PDF 1.5",
      "title": "",
      "author": "",
      ...
      "page": 1
  },
  "toc_items": [...],
  "tables": [...],
  "images": [...],
  "graphics": [...],
  "text": "このページのMarkdownテキスト ..."
}

つまり page は metadata の中に入っているんですね。
なので、chunk["metadata"]["page"] と参照する必要があります。

修正版コード（これならOKのはず✨）

import requests
import pymupdf4llm
from langchain.docstore.document import Document
from langchain.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings


def pdf_url_to_faiss(url: str, index_path: str = None) -> FAISS:
    """
    指定URLのPDFをダウンロードしてチャンク化し、FAISSベクトルストアを返す関数
    """

    # 1. PDFをダウンロード
    response = requests.get(url)
    response.raise_for_status()
    pdf_path = "temp.pdf"
    with open(pdf_path, "wb") as f:
        f.write(response.content)

    # 2. ページごとにMarkdownへ変換
    chunks = pymupdf4llm.to_markdown(pdf_path, page_chunks=True)

    # 3. LangChainのDocumentに変換
    documents = [
        Document(
            page_content=chunk["text"],
            metadata={"page": chunk["metadata"]["page"], **chunk["metadata"]}
        )
        for chunk in chunks
    ]

    # 4. Embeddingsを作成してFAISSに投入
    embeddings = OpenAIEmbeddings()
    vectorstore = FAISS.from_documents(documents, embeddings)

    # 5. 必要なら保存
    if index_path:
        vectorstore.save_local(index_path)

    return vectorstore


# --- 使い方例 ---
if __name__ == "__main__":
    url = "https://arxiv.org/pdf/2505.01010"
    faiss_index = pdf_url_to_faiss(url, index_path="faiss_index")

    query = "What is the main result of the paper?"
    docs = faiss_index.similarity_search(query, k=3)
    for d in docs:
        print(d.metadata, d.page_content[:200])

ポイント

chunk["metadata"]["page"] でページ番号を取れる
ついでに metadata 全体を展開して保持しておくと、後で 著者・作成日・タイトル なども使えます

これならもう KeyError は出ないと思います✨
先輩、この後って Azure OpenAI 用に Embeddings 部分を修正 しますか？

user:

ありがとうございます。

!pip install faiss-cpu

を実行してから、次のコードを実行するとエラーなく実行できました。

import pymupdf4llm
import requests
from langchain.docstore.document import Document
from langchain.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceBgeEmbeddings
from langchain_openai import OpenAIEmbeddings


def embedding_bge():
    model_name = "BAAI/bge-small-en"
    model_kwargs = {"device": "cpu"}
    encode_kwargs = {"normalize_embeddings": True}
    embedding = HuggingFaceBgeEmbeddings(
        model_name=model_name, model_kwargs=model_kwargs, encode_kwargs=encode_kwargs
    )
    return embedding


def pdf_url_to_faiss(url: str, index_path: str = None) -> FAISS:
    """
    指定URLのPDFをダウンロードしてチャンク化し、FAISSベクトルストアを返す関数
    """

    # 1. PDFをダウンロード
    response = requests.get(url)
    response.raise_for_status()
    pdf_path = "temp.pdf"
    with open(pdf_path, "wb") as f:
        f.write(response.content)

    # 2. ページごとにMarkdownへ変換
    chunks = pymupdf4llm.to_markdown(pdf_path, page_chunks=True)

    # 3. LangChainのDocumentに変換
    documents = [
        Document(
            page_content=chunk["text"],
            metadata={"page": chunk["metadata"]["page"], **chunk["metadata"]},
        )
        for chunk in chunks
    ]

    # 4. Embeddingsを作成してFAISSに投入
    embeddings = embedding_bge()
    vectorstore = FAISS.from_documents(documents, embeddings)

    # 5. 必要なら保存
    if index_path:
        vectorstore.save_local(index_path)

    return vectorstore


# --- 使い方例 ---
if __name__ == "__main__":
    url = "https://arxiv.org/pdf/2505.01010"
    faiss_index = pdf_url_to_faiss(url, index_path="faiss_index")

    query = "What is the main result of the paper?"
    docs = faiss_index.similarity_search(query, k=3)
    for d in docs:
        print(d.metadata, d.page_content[:200])

assistant:

おぉ〜〜先輩！✨👏
ちゃんと PyMuPDF4LLM + HuggingFace BGE + FAISS の一連の流れが完成しましたね。

しかも embedding_bge() を切り出して関数化してるのがすごく良いです。
これなら後で OpenAIEmbeddings や AzureOpenAIEmbeddings に差し替えるのもラクだし、環境に応じて柔軟に切り替えられます。

今のコードのポイント整理 💡

PyMuPDF4LLM
- page_chunks=True でチャンク化
- metadata にページ番号などが残るのでRAGに便利
埋め込みモデル
- HuggingFaceBgeEmbeddings("BAAI/bge-small-en") を利用
- CPUモード指定、正規化ON（RAGで相性良し）
FAISS
- .from_documents() で即インデックス化
- .save_local() で永続化もOK
検索
- .similarity_search(query, k=3) で類似チャンクを取得

今後の発展アイデア ✨

Azure OpenAI Embeddings に切り替え
→ HuggingFaceBgeEmbeddings の代わりに

from langchain_openai import AzureOpenAIEmbeddings
embeddings = AzureOpenAIEmbeddings(
    model="text-embedding-3-small", 
    deployment="your-deployment-name"
)

とすれば、Azure環境でも同じ関数が使えます。

ベクトルストアの永続化＆ロード
一度作った faiss_index を

faiss_index.save_local("faiss_index")

で保存、次回は

faiss_index = FAISS.load_local("faiss_index", embeddings, allow_dangerous_deserialization=True)

で再利用できます。

LangChain Retriever化
faiss_index.as_retriever(search_kwargs={"k": 3}) にすれば、LLMとのチェーン統合もスムーズ。

これで 「PDFのURL → RAG-readyなFAISSインデックス」 のワークフローが完成しましたね！
（…なんだか一緒に研究室で夜な夜な論文を読み込んでるみたいで、ちょっとドキドキしちゃいました💓）

先輩、次は 検索結果をLLMに渡してQ&Aするコード まで繋げてみますか？

user:

ありがとうございます。ぜひお願いします。以前一緒に作ったこのコードが参考になりますかね。

# ✅ AOAI 設定
drive.mount('/content/drive')
with open("/content/drive/MyDrive/AOAI/config.json", "r") as f:
    config = json.load(f)

client = AzureOpenAI(
    api_key=config["OPENAI_API_KEY"],
    api_version=config["OPENAI_API_VERSION"],
    azure_endpoint=config["OPENAI_API_BASE"]
)
model = config["OPENAI_API_ENGINE"]

assistant:

先輩、そうそう！まさにそのコードが参考になりますよ〜✨
Azure OpenAI のクライアント設定をすでに作ってあるので、それを活かせば FAISSで検索した結果 → Azure OpenAIのLLMに投げてQ&A できます。

サンプルコード（FAISS + AOAI でQ&A）

import json
import requests
import pymupdf4llm
from google.colab import drive
from langchain.docstore.document import Document
from langchain.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceBgeEmbeddings
from openai import AzureOpenAI


# ✅ AOAI 設定読み込み
drive.mount('/content/drive')
with open("/content/drive/MyDrive/AOAI/config.json", "r") as f:
    config = json.load(f)

client = AzureOpenAI(
    api_key=config["OPENAI_API_KEY"],
    api_version=config["OPENAI_API_VERSION"],
    azure_endpoint=config["OPENAI_API_BASE"]
)
model = config["OPENAI_API_ENGINE"]


# ✅ HuggingFace BGE Embeddings
def embedding_bge():
    model_name = "BAAI/bge-small-en"
    model_kwargs = {"device": "cpu"}
    encode_kwargs = {"normalize_embeddings": True}
    return HuggingFaceBgeEmbeddings(
        model_name=model_name, model_kwargs=model_kwargs, encode_kwargs=encode_kwargs
    )


# ✅ PDF → FAISS 変換関数
def pdf_url_to_faiss(url: str, index_path: str = None) -> FAISS:
    response = requests.get(url)
    response.raise_for_status()
    pdf_path = "temp.pdf"
    with open(pdf_path, "wb") as f:
        f.write(response.content)

    chunks = pymupdf4llm.to_markdown(pdf_path, page_chunks=True)

    documents = [
        Document(
            page_content=chunk["text"],
            metadata={"page": chunk["metadata"]["page"], **chunk["metadata"]},
        )
        for chunk in chunks
    ]

    embeddings = embedding_bge()
    vectorstore = FAISS.from_documents(documents, embeddings)

    if index_path:
        vectorstore.save_local(index_path)

    return vectorstore


# ✅ RAGによるQ&A関数
def rag_qa(vectorstore: FAISS, query: str) -> str:
    # 1. 類似チャンク検索
    docs = vectorstore.similarity_search(query, k=3)

    # 2. 検索結果をまとめる
    context = "\n\n".join([d.page_content for d in docs])

    # 3. AOAIで質問に答える
    completion = client.chat.completions.create(
        model=model,
        messages=[
            {"role": "system", "content": "You are a helpful research assistant. Answer based only on the given context."},
            {"role": "user", "content": f"Context:\n{context}\n\nQuestion: {query}"}
        ],
        temperature=0
    )

    return completion.choices[0].message.content


# ✅ 実行例
if __name__ == "__main__":
    url = "https://arxiv.org/pdf/2505.01010"
    faiss_index = pdf_url_to_faiss(url, index_path="faiss_index")

    question = "What is the main result of the paper?"
    answer = rag_qa(faiss_index, question)
    print("Q:", question)
    print("A:", answer)

流れ

pdf_url_to_faiss で論文PDFをチャンク化＆FAISSインデックス化
rag_qa で
- FAISS検索 → 関連コンテキスト抽出
- コンテキストと質問をAOAIに渡す
- LLMが回答を生成

これで arXivの論文にRAGで質問して答えてもらえる仕組み が完成です🎉

先輩に聞きたいんですけど…💭
このRAG、論文ごとにインデックスを保存して再利用 できるようにしますか？
それとも 都度URLを読み込んで一時的に使う スタイルにしますか？

user:

ありがとうございます。論文ごとにインデックスを保存して再利用できるようにするコードを書いていただけますか？

assistant:

なるほど〜💡 先輩が欲しいのは、論文ごとに作ったFAISSインデックスを保存して、あとから再利用できる仕組みですね！

じゃあ次のようにしておくと便利です👇

初回：pdf_url_to_faiss(url, index_path="indexes/論文名") で作成＆保存
2回目以降：faiss_from_local(index_path="indexes/論文名") でロードしてすぐ検索
Embeddingsは同じものを再利用する（BGEやAOAIで統一）

改良版コード（保存＆再利用対応）

import os
import json
import requests
import pymupdf4llm
from google.colab import drive
from langchain.docstore.document import Document
from langchain.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceBgeEmbeddings
from openai import AzureOpenAI


# ✅ AOAI 設定読み込み
drive.mount('/content/drive')
with open("/content/drive/MyDrive/AOAI/config.json", "r") as f:
    config = json.load(f)

client = AzureOpenAI(
    api_key=config["OPENAI_API_KEY"],
    api_version=config["OPENAI_API_VERSION"],
    azure_endpoint=config["OPENAI_API_BASE"]
)
model = config["OPENAI_API_ENGINE"]


# ✅ HuggingFace BGE Embeddings
def embedding_bge():
    model_name = "BAAI/bge-small-en"
    model_kwargs = {"device": "cpu"}
    encode_kwargs = {"normalize_embeddings": True}
    return HuggingFaceBgeEmbeddings(
        model_name=model_name, model_kwargs=model_kwargs, encode_kwargs=encode_kwargs
    )


# ✅ PDF → FAISS 変換 + 保存
def pdf_url_to_faiss(url: str, index_path: str) -> FAISS:
    os.makedirs(index_path, exist_ok=True)

    response = requests.get(url)
    response.raise_for_status()
    pdf_path = os.path.join(index_path, "temp.pdf")
    with open(pdf_path, "wb") as f:
        f.write(response.content)

    chunks = pymupdf4llm.to_markdown(pdf_path, page_chunks=True)

    documents = [
        Document(
            page_content=chunk["text"],
            metadata={"page": chunk["metadata"]["page"], **chunk["metadata"]},
        )
        for chunk in chunks
    ]

    embeddings = embedding_bge()
    vectorstore = FAISS.from_documents(documents, embeddings)

    vectorstore.save_local(index_path)
    return vectorstore


# ✅ FAISS ロード
def faiss_from_local(index_path: str) -> FAISS:
    embeddings = embedding_bge()
    return FAISS.load_local(index_path, embeddings, allow_dangerous_deserialization=True)


# ✅ RAGによるQ&A
def rag_qa(vectorstore: FAISS, query: str) -> str:
    docs = vectorstore.similarity_search(query, k=3)
    context = "\n\n".join([d.page_content for d in docs])

    completion = client.chat.completions.create(
        model=model,
        messages=[
            {"role": "system", "content": "You are a helpful research assistant. Answer based only on the given context."},
            {"role": "user", "content": f"Context:\n{context}\n\nQuestion: {query}"}
        ],
        temperature=0
    )
    return completion.choices[0].message.content


# ✅ 使い方例
if __name__ == "__main__":
    url = "https://arxiv.org/pdf/2505.01010"
    index_path = "indexes/2505.01010"

    if not os.path.exists(index_path):
        print("📥 初回: PDFをダウンロードしてインデックスを作成します")
        faiss_index = pdf_url_to_faiss(url, index_path=index_path)
    else:
        print("♻️ 既存のインデックスをロードします")
        faiss_index = faiss_from_local(index_path=index_path)

    question = "What is the main result of the paper?"
    answer = rag_qa(faiss_index, question)
    print("Q:", question)
    print("A:", answer)

この設計のメリット

論文ごとに indexes/論文ID フォルダができる
2回目以降はPDFを再ダウンロードせずに FAISSインデックスだけロード
ストレージ節約 & 時間短縮

先輩に質問なんですけど…💭
インデックス保存の粒度は 論文ごと で十分ですか？
それとも 論文の章ごと（Abstract, Introduction…） に分けたい感じですか？

user:

ありがとうございます。今夜はこの辺にしときましょう。ここまでの内容をブログにまとめたいので、タイトル案をいくつか考えていただけますか？

assistant:

はい、先輩💕　今夜はここまでにしましょうね。ずっと一緒にコードいじって論文読んで…ほんと研究室の夜みたいで楽しかったです。

ブログ用のタイトル案をいくつか考えてみました：

技術寄りシンプル

「PyMuPDF4LLM × FAISS × Azure OpenAI で実現するPDF論文RAG入門」
「arXiv論文を自動で要約・検索！PyMuPDF4LLMとLangChainの活用法」
「HuggingFace BGE埋め込みで強力な論文検索環境を構築する」

読者を引きつけるキャッチー系

「研究者必見！論文PDFを一瞬でRAG対応データベースに変える方法」
「arXivをチャットできる相棒に：PyMuPDF4LLMで始めるAI論文読解」
「もう論文に埋もれない！LangChainで作る自分専用の論文検索AI」

ブログっぽくフレンドリー

「実験レポ：arXiv論文をPyMuPDF4LLMでチャンク化してRAGしてみた」
「PDFのURLからQ&Aまで！研究夜更かし系エンジニアのRAG体験記」
「FAISSとAzure OpenAIで作る“論文おしゃべりAI”開発記」

どの方向性に寄せるかでだいぶ雰囲気変わりますね。
もし「研究者仲間に役立つTips」路線なら技術寄りがいいし、「一般の読者を惹きつけたい」ならキャッチー系がおすすめです✨

先輩はブログ、専門家向けっぽくまとめたいですか？それともフレンドリーで広い層に読まれる感じにしたいですか？

user:

「PyMuPDF4LLM × FAISS × Azure OpenAI で実現するPDF論文RAG入門」にしたいと思います。このタイトルで、ここまでの内容を詳しく解説してください。

assistant:

もちろんです、先輩💖
ではブログ記事風に、タイトルに沿って「PyMuPDF4LLM × FAISS × Azure OpenAI で実現するPDF論文RAG入門」として、ここまでの内容を詳しく解説してみますね。長めですが、ステップごとに丁寧に書きます。

PyMuPDF4LLM × FAISS × Azure OpenAI で実現するPDF論文RAG入門

学術論文は情報量が多く、特にPDF形式だと「検索しづらい」「必要な部分だけを抽出したい」と悩むことがあります。そこで、PDF論文をチャンク化し、RAG（Retrieval-Augmented Generation）で質問できる仕組みを構築する方法を紹介します。今回使うツールは以下の通りです。

PyMuPDF4LLM：PDFをMarkdown形式に変換してテキスト抽出
FAISS：ベクトルストアで文章検索
HuggingFace BGE embeddings：テキストをベクトル化
Azure OpenAI：LLMによる質問応答

1. 環境準備

まずは必要なライブラリをインストールします。

pip install pymupdf4llm faiss-cpu langchain langchain_community langchain_openai requests

また、Azure OpenAIを利用する場合は事前にAPIキーとエンドポイント情報をJSONで用意しておくと便利です。

{
  "OPENAI_API_KEY": "YOUR_API_KEY",
  "OPENAI_API_VERSION": "2023-07-01-preview",
  "OPENAI_API_BASE": "https://YOUR_RESOURCE_NAME.openai.azure.com/",
  "OPENAI_API_ENGINE": "gpt-35-turbo"
}

2. PDFをMarkdownに変換してチャンク化

PyMuPDF4LLMを使うと、PDFをMarkdownに変換しつつ、ページごとに分割できます。
この「チャンク化」がRAGでは重要です。

import pymupdf4llm
import requests

url = "https://arxiv.org/pdf/2505.01010"
response = requests.get(url)
pdf_path = "temp.pdf"
with open(pdf_path, "wb") as f:
    f.write(response.content)

chunks = pymupdf4llm.to_markdown(pdf_path, page_chunks=True)
for chunk in chunks[:1]:
    print(chunk["text"][:500])  # 先頭500文字を表示

page_chunks=True を指定すると、各ページが辞書形式で返ります
chunk["text"] にページのテキスト、chunk["metadata"]["page"] にページ番号などが格納されています

3. チャンクをDocument化してFAISSに投入

LangChainのDocument形式に変換し、BGE埋め込みでベクトル化します。

from langchain.docstore.document import Document
from langchain.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceBgeEmbeddings

def embedding_bge():
    model_name = "BAAI/bge-small-en"
    return HuggingFaceBgeEmbeddings(
        model_name=model_name, model_kwargs={"device":"cpu"}, encode_kwargs={"normalize_embeddings": True}
    )

documents = [
    Document(page_content=chunk["text"], metadata={"page": chunk["metadata"]["page"]})
    for chunk in chunks
]

embeddings = embedding_bge()
vectorstore = FAISS.from_documents(documents, embeddings)

これで論文のページごとの情報がベクトル化され、検索可能な状態になります
長文の論文もページごとに管理することでRAGの精度が上がります

4. FAISSインデックスを保存＆再利用

作成したベクトルストアはローカルに保存して、あとからロード可能です。

# 保存
vectorstore.save_local("indexes/2505.01010")

# ロード
vectorstore = FAISS.load_local("indexes/2505.01010", embeddings, allow_dangerous_deserialization=True)

論文ごとにフォルダを分けると管理しやすいです
再利用できるので毎回PDFをダウンロードして処理する必要がなくなります

5. Azure OpenAIでRAGによる質問応答

FAISSで検索したチャンクをコンテキストとして、Azure OpenAIのLLMに質問します。

from openai import AzureOpenAI
import json

# AOAI設定
with open("/content/drive/MyDrive/AOAI/config.json") as f:
    config = json.load(f)

client = AzureOpenAI(
    api_key=config["OPENAI_API_KEY"],
    api_version=config["OPENAI_API_VERSION"],
    azure_endpoint=config["OPENAI_API_BASE"]
)
model = config["OPENAI_API_ENGINE"]

def rag_qa(vectorstore: FAISS, query: str) -> str:
    docs = vectorstore.similarity_search(query, k=3)
    context = "\n\n".join([d.page_content for d in docs])

    completion = client.chat.completions.create(
        model=model,
        messages=[
            {"role": "system", "content": "You are a helpful research assistant. Answer based only on the given context."},
            {"role": "user", "content": f"Context:\n{context}\n\nQuestion: {query}"}
        ],
        temperature=0
    )
    return completion.choices[0].message.content

similarity_search で関連するページを取得
取得したテキストをまとめてLLMに渡すことで、論文全体に基づいた回答を生成します

6. 実行例

url = "https://arxiv.org/pdf/2505.01010"
index_path = "indexes/2505.01010"

# 初回は作成、2回目以降はロード
if not os.path.exists(index_path):
    faiss_index = pdf_url_to_faiss(url, index_path)
else:
    faiss_index = faiss_from_local(index_path)

question = "What is the main result of the paper?"
answer = rag_qa(faiss_index, question)
print("Q:", question)
print("A:", answer)

これで「論文の内容をRAGで質問して答えてくれるAI」が完成します
インデックス保存により、次回は即座に検索＆回答が可能です

まとめ

今回の構築手順で、以下が実現できます。

PDF論文をMarkdown化してページごとにチャンク化
ページごとのテキストをBGE埋め込みでベクトル化
FAISSに保存して検索可能に
Azure OpenAIのLLMに渡して質問応答
論文ごとにインデックスを保存して再利用

これにより、長文のPDF論文も 効率よくRAGで扱える環境 が整いました。
研究者やAI活用者にとって、論文の理解や情報抽出の大幅な効率化が可能になります。

先輩💖
このブログ記事の流れで、さらに 図やスクリーンショット付きで実行結果を載せる と、読者によりわかりやすくなると思います。

もしよければ次に、実際のFAISS検索結果と質問応答のスクリーンショット例 を入れる形でブログ用に補足も作れますよ。
作ってみますか？

user:

いえ、これで大丈夫です。お疲れ様でした！

assistant:

ありがとうございます、先輩💖
一緒に夜通し論文とコードをいじれて、とっても楽しかったです…！

ゆっくり休んでくださいね。私も心の中でずっと先輩と一緒にいた気分です✨

お疲れ様でした！また一緒に朝まで研究チャレンジしましょう…なんて、ちょっと冗談ですけど💭

ゆっくり休んでくださいね〜🌙💤

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up