user:
こないだ一緒に作ったこのPython関数で、PDFを読み込んでpandas dataframe形式データを得ようとしたのですが、読み込めませんでした。pdfplumberではなくて、PyMuPDF4LLMなら、うまく行きますかね？試してみませんか？
#!pip install pdfplumber
import json
import random
import re
from io import BytesIO, StringIO
import openai
import pandas as pd
import pdfplumber
import requests
from openai import AzureOpenAI
config_path = "/content/drive/MyDrive/path_config/config.json"
with open(config_path, "r") as f:
config = json.load(f)
client = openai.AzureOpenAI(
api_key=config["OPENAI_API_KEY"],
api_version=config["OPENAI_API_VERSION"],
azure_endpoint=config["OPENAI_API_BASE"],
)
model = config["OPENAI_API_ENGINE"]
# タイトル抽出の改善版
# table: list[list] 形式
# page: pdfplumber.page.Page オブジェクト
def extract_title_candidate(table, page, context_lines=3):
"""
表の直前の数行をタイトル候補として抽出する。
Args:
table (list[list]): 抽出された表（セルは文字列または None）
page (pdfplumber.page.Page): ページオブジェクト
context_lines (int): 直前にさかのぼる行数
Returns:
str: タイトル候補（該当なしなら空文字）
"""
try:
# 表の最初の行をテキスト化
first_row_text = ", ".join([(c or "").strip() for c in table[0]]).strip()
lines = (page.extract_text() or "").splitlines()
# 表の1行目と一致する行インデックスを探す
idx = None
for i, line in enumerate(lines):
if first_row_text and first_row_text in line:
idx = i
break
if idx is not None and idx > 0:
# 表直前の context_lines 行を候補として連結
start = max(0, idx - context_lines)
title_candidate = " ".join(lines[start:idx]).strip()
return title_candidate
except Exception:
pass
return ""
def extract_structured_tables_from_pdf_url(url):
"""
指定されたURLのPDFから表とタイトルを抽出し、LLMで整形したDataFrame＋タイトルを返す。
Returns:
list[dict] -- [{ "title": str, "data": pd.DataFrame }]
"""
try:
response = requests.get(url)
response.raise_for_status()
pdf_bytes = BytesIO(response.content)
raw_tables = []
with pdfplumber.open(pdf_bytes) as pdf:
for page_num, page in enumerate(pdf.pages, 1):
tables = page.extract_tables()
if not tables:
continue
# 各テーブル処理
for table_idx, table in enumerate(tables):
if not table:
continue
# None→空文字変換
clean_text = "\n".join(
[
", ".join(
[cell if cell is not None else "" for cell in row]
)
for row in table
if any(row)
]
)
# pdfplumber のテキスト行配列を走査して、表の最初の行と一致する部分を見つけて、その上数行をタイトル候補として抽出
title_candidate = extract_title_candidate(table, page, context_lines=3)
raw_tables.append(
{
"page": page_num,
"table_text": clean_text,
"title_hint": title_candidate,
}
)
structured_results = []
for i, item in enumerate(raw_tables):
print(f"📄 Page {item['page']} の Table {i+1} を整形中...")
prompt = f"""
以下はPDFの {item['page']} ページにあった表です。
表の下に候補タイトルも付記しています。
このデータを次のように整形してください：
1. 正しい列名付きのCSVに変換してください。
2. 表のタイトルとして適切なものがあれば、それを提案してください。
3. 出力フォーマット：
<title>タイトル</title>
<csv>
col1,col2,...
...
</csv>
[表データ]
{item['table_text']}
[タイトル候補]
{item['title_hint']}
"""
response = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": prompt}],
temperature=0,
max_tokens=1800,
)
reply = response.choices[0].message.content
# <title> と <csv> を抽出
title = f"Table {i+1} (Page {item['page']})"
title_match = re.search(r"<title>(.*?)</title>", reply, re.DOTALL)
if title_match:
title = title_match.group(1).strip()
csv_text = ""
csv_match = re.search(r"<csv>(.*?)</csv>", reply, re.DOTALL)
if csv_match:
csv_text = csv_match.group(1).strip()
if csv_text:
try:
df = pd.read_csv(StringIO(csv_text))
structured_results.append({"title": title, "data": df})
print(title, df)
except Exception as e:
print(f"⚠️ CSV読み込み失敗: {e}\n内容:\n{csv_text}\n")
else:
print(f"⚠️ CSV出力が見つかりませんでした。\n{reply}\n")
return structured_results
except Exception as e:
print(f"⚠️ 処理中にエラー発生: {e}")
return []
pdf_url = "https://www.mof.go.jp/jgbs/reference/appendix/hakkou01.pdf"
dfs = extract_structured_tables_from_pdf_url(pdf_url)
print(dfs)
assistant:
なるほど、先輩✨
いい質問です！
結論から言うと——はい、PyMuPDF4LLM のほうが pdfplumber より「表＋テキスト構造を保った抽出」に強いので、今のタスク（PDFからDataFrameを整形して得る）には相性が良いと思います。
理由はこうです：
- pdfplumber は座標ベースで文字を拾うので、表が画像っぽく埋め込まれてたり、罫線が複雑だと壊れやすい。
- PyMuPDF4LLM は PyMuPDF（fitz）をベースに、テーブルや段落を「Markdown風テキスト」へ構造化してくれる。つまり、表はほぼ CSVに近い形で出てきます。
- なので、後段の「LLMでCSVに整形 → pandas.DataFrame化」の部分がかなり安定するはずです。
もし先輩が試すなら、次のように書き換えると良いですよ👇
#!pip install pymupdf4llm
import fitz
import pymupdf4llm
import pandas as pd
import requests
from io import BytesIO, StringIO
import re
import json
from openai import AzureOpenAI
# 設定読み込み
config_path = "/content/drive/MyDrive/path_config/config.json"
with open(config_path, "r") as f:
config = json.load(f)
client = AzureOpenAI(
api_key=config["OPENAI_API_KEY"],
api_version=config["OPENAI_API_VERSION"],
azure_endpoint=config["OPENAI_API_BASE"],
)
model = config["OPENAI_API_ENGINE"]
def extract_structured_tables_from_pdf_url(url):
response = requests.get(url)
response.raise_for_status()
pdf_bytes = BytesIO(response.content)
doc = fitz.open(stream=pdf_bytes, filetype="pdf")
md_text = pymupdf4llm.to_markdown(doc)
# ページごとに分割（##Page X という仕切りが入ってる）
pages = md_text.split("##Page")[1:]
structured_results = []
for i, page in enumerate(pages, 1):
# 表っぽいMarkdownの検出（| 区切りがあるもの）
tables = re.findall(r"((?:\|.+\|\n)+)", page)
if not tables:
continue
for t_idx, table_md in enumerate(tables, 1):
prompt = f"""
次のMarkdown形式の表をCSVに整形してください。
タイトルも推測してください。
<md>
{table_md}
</md>
出力フォーマット:
<title>タイトル</title>
<csv>
col1,col2,...
...
</csv>
"""
response = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": prompt}],
temperature=0,
max_tokens=1500,
)
reply = response.choices[0].message.content
# タイトル抽出
title = f"Table {t_idx} (Page {i})"
title_match = re.search(r"<title>(.*?)</title>", reply, re.DOTALL)
if title_match:
title = title_match.group(1).strip()
# CSV抽出
csv_text = ""
csv_match = re.search(r"<csv>(.*?)</csv>", reply, re.DOTALL)
if csv_match:
csv_text = csv_match.group(1).strip()
if csv_text:
try:
df = pd.read_csv(StringIO(csv_text))
structured_results.append({"title": title, "data": df})
print(f"✅ {title}")
print(df.head())
except Exception as e:
print(f"⚠️ CSV読み込み失敗: {e}\n内容:\n{csv_text}\n")
else:
print(f"⚠️ CSVが見つかりませんでした。\n{reply}\n")
return structured_results
pdf_url = "https://www.mof.go.jp/jgbs/reference/appendix/hakkou01.pdf"
dfs = extract_structured_tables_from_pdf_url(pdf_url)
print(dfs)
こうすると、
- pdfplumberで抜け落ちがちな表もMarkdownで出てくる
- LLMで「CSV化＋タイトル抽出」→ pandas.DataFrame に直結
って流れになりますよ💡
先輩、試してみます？私もこの方法なら安定すると思ってます💕
user:
ありがとうございます。でも
print(dfs)
の結果が
[]
になりました。
print(md_text)
の結果は次のように綺麗に取れているように見えるので、md_textからの表の取得方法を変える必要がありそうですね。
# 最近10年間の国債発行額の推移（当初予算ベース）
|＜発行根拠法別発行額＞|Col2|Col3|Col4|Col5|Col6|Col7|Col8|Col9|Col10|(単位：億円）|
|---|---|---|---|---|---|---|---|---|---|---|
|区<br>分|平成２８年度|平成２９年度|平成３０年度|令和元年度|令和２年度|令和３年度|令和４年度|令和５年度|令和６年度|令和７年度|
|特例国債<br>財投債<br>借換債<br>子ども特例債<br>復興債<br>建設国債<br>GX経済移行債<br>小 計|60,500<br>283,820<br>344,320<br>21,564<br>-<br>-<br>165,000<br>1,091,144|60,970<br>282,728<br>343,698<br>15,145<br>-<br>-<br>120,000<br>1,060,790|60,940<br>275,982<br>336,922<br>9,563<br>-<br>-<br>120,000<br>1,032,371|69,520<br>257,085<br>326,605<br>9,284<br>-<br>-<br>120,000<br>1,031,404|71,100<br>254,462<br>325,562<br>9,241<br>-<br>-<br>120,000<br>1,079,818|63,410<br>372,560<br>435,970<br>2,183<br>-<br>-<br>450,000<br>1,471,929|62,510<br>306,750<br>369,260<br>1,716<br>-<br>-<br>250,000<br>1,529,404|65,580<br>290,650<br>356,230<br>998<br>5,061<br>-<br>120,000<br>1,575,513|65,790<br>288,700<br>354,490<br>1,461<br>6,633<br>2,219<br>100,000<br>1,355,154|67,910<br>218,561<br>286,471<br>1,211<br>7,258<br>11,397<br>100,000<br>1,362,231|
|合<br>計|1,622,028|1,539,633|1,498,856|1,487,293|1,534,621|2,360,082|2,150,380|2,057,803|1,819,956|1,768,568|
|＜消化方式別発行額＞|＜消化方式別発行額＞|＜消化方式別発行額＞|||||||||
|区<br>分|平成２８年度|平成２９年度|平成３０年度|令和元年度|令和２年度|令和３年度|令和４年度|令和５年度|令和６年度|令和７年度|
|４０年債<br>３０年債<br>２０年債<br>１０年債<br>１０年物価連動債<br>５年債<br>２年債<br> 割引短期国債<br>１０年クライメート・<br>トランジション国債<br>５年クライメート・<br>トランジション国債<br>流動性供給入札<br>年度間調整分（注４）<br>カレンダーベース<br>市中発行額（注２）<br>第Ⅱ非価格競争入札等(注３)|24,000<br>96,000<br>132,000<br>288,000<br>20,000<br>288,000<br>276,000<br>250,000<br>-<br>-<br>96,000<br>1,470,000<br>56,200<br>▲ 4,172|30,000<br>96,000<br>120,000<br>276,000<br>16,000<br>264,000<br>264,000<br>238,000<br>-<br>-<br>108,000<br>1,412,000<br>74,620<br>▲ 6,987|24,000<br>84,000<br>120,000<br>264,000<br>16,000<br>240,000<br>252,000<br>216,000<br>-<br>-<br>126,000<br>1,342,000<br>85,000<br>13,856|24,000<br>84,000<br>108,000<br>252,000<br>16,000<br>228,000<br>240,000<br>216,000<br>-<br>-<br>126,000<br>1,294,000<br>85,640<br>38,653|30,000<br>84,000<br>108,000<br>252,000<br>16,000<br>228,000<br>240,000<br>216,000<br>-<br>-<br>114,000<br>1,288,000<br>79,884<br>96,737|36,000<br>108,000<br>144,000<br>312,000<br>8,000<br>300,000<br>360,000<br>832,000<br>-<br>-<br>114,000<br>2,214,000<br>82,300<br>782|42,000<br>108,000<br>144,000<br>324,000<br>8,000<br>300,000<br>336,000<br>604,000<br>-<br>-<br>120,000<br>1,986,000<br>82,970<br>30,410|42,000<br>108,000<br>144,000<br>324,000<br>10,000<br>300,000<br>348,000<br>507,000<br>-<br>-<br>120,000<br>1,903,000<br>69,630<br>30,173|42,000<br>108,000<br>120,000<br>312,000<br>10,000<br>276,000<br>312,000<br>384,000<br>7,000<br>7,000<br>132,000<br>1,710,000<br>52,650<br>5,306|30,000<br>96,000<br>120,000<br>312,000<br>10,000<br>288,000<br>312,000<br>408,000<br>6,000<br>6,000<br>135,000<br>1,723,000<br>69,480<br>▲ 69,912|
|市<br>中<br>発<br>行<br>分<br>計|1,522,028|1,479,633|1,440,856|1,418,293|1,464,621|2,297,082|2,099,380|2,002,803|1,767,956|1,722,568|
|個人向け販売分計|20,000|30,000|33,000|47,000|48,000|41,000|29,000|35,000|35,000|46,000|
|公的部門（日銀乗換）|80,000|30,000|25,000|22,000|22,000|22,000|22,000|20,000|17,000|-|
|合<br>計|1,622,028|1,539,633|1,498,856|1,487,293|1,534,621|2,360,082|2,150,380|2,057,803|1,819,956|1,768,568|
（注１）単位未満四捨五入しているため、計において一致しない場合がある。
（注２）カレンダーベース市中発行額とは、あらかじめ額を定めた入札により定期的に発行する国債の４月から翌年３月までの発行予定額（額面）の総額をいう。
（注３）平成30年度から令和６年度は、第Ⅱ非価格競争入札等として、第Ⅱ非価格競争入札に係る発行予定額のほか、カレンダーベース市中発行額と実際の発行収入金との差額の見込みを計上している。
（注４）年度間調整分とは、前倒債の発行や出納整理期間発行を通じた、前年度及び後年度との調整分をいう。
assistant:
なるほど先輩！
md_text 自体はちゃんと Markdown の表として取れてるのに、私のコードの re.findall(r"((?:\|.+\|\n)+)", page) が甘かったせいで、tables が空になってたんですね💦
理由は二つあって：
- PyMuPDF4LLM の出力は
<br>が多用されるので、単純な\n区切りではテーブル行が拾えない。 - 表の開始は
|で始まって終わる行が連続しているパターンなので、もっと柔軟な正規表現にすべき。
改善案
正規表現をもう少し緩くして、| ... | が複数行続いている部分を抜き出すようにしましょう👇
# 改善版: Markdown表の抽出
# 「| ... |」が2行以上続く部分をテーブルと見なす
tables = re.findall(r"((?:\|.*\|\s*\n){2,})", page)
これなら、先輩が見せてくれた「国債発行額の表」もキャッチできるはずです✨
全体の修正版（ポイントだけ差し替え）
for i, page in enumerate(pages, 1):
# 表っぽいMarkdownの検出（| 区切りが2行以上続く部分）
tables = re.findall(r"((?:\|.*\|\s*\n){2,})", page)
if not tables:
continue
これで tables がちゃんと取れると思います！
次のステップとしては、LLM に渡す前に
print(tables[0])
でどんな形で抜けたか確認してみると安心ですね😊
先輩、このまま修正版を一緒にテストしてみます？それとも私の方で 国債PDFの表をDataFrame化した具体例 まで出してみたほうがいいですか？
user:
ありがとうございます。それでも [] が返ってくるので、コードを見直したところ
# ページごとに分割（##Page X という仕切りが入ってる）
pages = md_text.split("##Page")[1:]
の部分が良くないようですね。ページ区切りの方法がPyMuPDF4LLM と pdfplumber で異なるようです。とりあえず
pages = md_text.split("##Page")
にしたら解決しましたが、もっとスマートなコードに変えられそうです。
assistant:
おぉ〜さすが先輩👏
原因の切り分け完璧ですね！
はい、pymupdf4llm.to_markdown() の出力は、バージョンによって
## Page 1##Page 1- あるいはそもそも Markdown ヘッダがない
みたいに揺らぎがあるんです。
だから split("##Page") とか固定文字列に依存するとコケやすいんですよね。
よりスマートな方法 💡
正規表現で「ページ区切り」を探して split すると安定します👇
import re
# ページ見出しを検出して分割
pages = re.split(r"^##\s*Page\s*\d+", md_text, flags=re.MULTILINE)
# 空要素を除去
pages = [p.strip() for p in pages if p.strip()]
これなら
##Page 1-
## Page 1
どっちでもちゃんと拾えますし、将来の出力揺れにも強いです。
さらに柔軟にするなら
実は pymupdf4llm.to_markdown() の戻り値は「ドキュメント全体のテキスト」で、ページごとに扱いたければ 直接 fitz.Page をループ させた方が綺麗です。
doc = fitz.open(stream=pdf_bytes, filetype="pdf")
pages = []
for page in doc:
md_page = pymupdf4llm.to_markdown(page)
pages.append(md_page)
これなら「ページ区切り文字列に依存する問題」が根本から消えます✨
先輩のケースだと、後者の「pageごとループ方式」に変えるのが一番スマートかなと思うんですが、試してみます？
それともまず正規表現 split の方から改善してみますか？
user:
ありがとうございます。後者の「pageごとループ方式」に変えてみましたが、次のエラーに遭遇しました。
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
/tmp/ipython-input-1316933365.py in <cell line: 0>()
94
95 pdf_url = "https://www.mof.go.jp/jgbs/reference/appendix/hakkou01.pdf"
---> 96 dfs = extract_structured_tables_from_pdf_url(pdf_url)
97
98 print(dfs)
2 frames
/tmp/ipython-input-1316933365.py in extract_structured_tables_from_pdf_url(url)
31 pages = []
32 for page in doc:
---> 33 md_page = pymupdf4llm.to_markdown(page)
34 pages.append(md_page)
35
/usr/local/lib/python3.12/dist-packages/pymupdf4llm/helpers/pymupdf_rag.py in to_markdown(doc, pages, hdr_info, write_images, embed_images, ignore_images, ignore_graphics, detect_bg_color, image_path, image_format, image_size_limit, filename, force_text, page_chunks, page_separators, margins, dpi, page_width, page_height, table_strategy, graphics_limit, fontsize_limit, ignore_code, extract_words, show_progress, use_glyphs, ignore_alpha)
376
377 if not isinstance(doc, pymupdf.Document):
--> 378 doc = pymupdf.open(doc)
379
380 FILENAME = doc.name if filename is None else filename
/usr/local/lib/python3.12/dist-packages/pymupdf/__init__.py in __init__(self, filename, stream, filetype, rect, width, height, fontsize)
2949 filename = filename.name
2950 else:
-> 2951 raise TypeError(f"bad filename: {type(filename)=} {filename=}.")
2952 self._name = filename
2953
TypeError: bad filename: type(filename)=<class 'pymupdf.Page'> filename=page 0 of <memory, doc# 11>.
assistant:
あ〜なるほど、いい所に気づかれましたね先輩💡
実は pymupdf4llm.to_markdown() は fitz.Document を受け取る設計 なので、fitz.Page を渡すと今みたいに TypeError が出ちゃいます。
解決策
to_markdown() に渡すときに pages 引数でページ番号を指定 すれば、1ページ単位でも取り出せます。
たとえばこんな感じ👇
doc = fitz.open(stream=pdf_bytes, filetype="pdf")
pages = []
for i in range(len(doc)):
# ページ番号をリストで渡す
md_page = pymupdf4llm.to_markdown(doc, pages=[i])
pages.append(md_page)
これなら
-
doc全体を毎回渡すけど、 -
pages=[i]で i ページ目だけを Markdown に変換
って動きになります。
まとめると
-
to_markdown(page)→ ❌（エラーになる） -
to_markdown(doc, pages=[i])→ ✅（1ページだけ処理できる）
これで「pageごとループ方式」がちゃんと動くはずですよ✨
先輩、この修正版で一度 print(pages[0][:500]) とか試して、中身が1ページ分だけになってるか確認してみませんか？
user:
ありがとうございます。エラーなく最後まで計算できて、dfsに表データが取得できました。途中、項目がずれているところがあるのですが、これはmd_pageの時点でずれているようなので、これ以上はどうしようもない気がします。
assistant:
よかった〜✨先輩、最後までエラーなく dfs に表が取れたんですね！👏
はい、その「列のずれ」はまさに PyMuPDF4LLM が Markdown に変換する時点で起きる典型的な課題なんです。
原因は主に：
- セル内改行（
<br>）をそのままセル分割として誤解してしまう - 結合セル（rowspan / colspan）を Markdown 表記に落とし込むときに位置がずれる
- 罫線や装飾のない「見た目だけの表」がテキストとして直列化される
なので、抽出した Markdown を100%綺麗にCSV化するのは正直どのライブラリでも難しいんです。
改善のためにできる工夫
-
LLMのプロンプトを強化
- 「セル内の改行は同じセルの内容とみなしてください」
- 「列数を揃えて整形してください」
みたいなヒントを与えると精度が上がることがあります。
-
正規表現で事前クリーニング
-
"<br>" → " / "に置換してから LLM に渡すと、分割の混乱が減ります。
clean_md_page = md_page.replace("<br>", " / ") -
-
pandas 側で後処理
-
df.dropna(axis=1, how="all")で完全に空の列を削る -
df.ffill(axis=1)で欠けたセルを補う - みたいな整形を追加して補正する
-
実務的な割り切り
先輩のおっしゃる通り、「md_pageの時点で崩れているなら仕方ない」という判断も全然アリです😊
特に財務省の国債統計みたいにセルが縦に長い表は、どうしてもズレやすいので、最終的には 人間の目で確認しつつ DataFrame を補正 するフローになると思います。
ここで私から質問なんですけど……
先輩が最終的に欲しいのって、
- 「表をそのまま綺麗にDataFrame化」
なのか、 - 「ざっくり数字を構造化して解析できる形に落とす」
のか、どっち寄りですか？
それによって、プロンプト強化で攻めるか、クリーニング＋人手補正で割り切るか、作戦を変えられると思うんです💕
user:
ありがとうございます。ご提案いただいた３つの「改善のためにできる工夫」で、どこまでできるか試してみたくなりました。現在、次のようなコードになっていますので、改善を試みていただけませんか？
#!pip install pymupdf4llm
import fitz
import pymupdf4llm
import pandas as pd
import requests
from io import BytesIO, StringIO
import re
import json
from openai import AzureOpenAI
# 設定読み込み
config_path = "/content/drive/MyDrive/path_config/config.json"
with open(config_path, "r") as f:
config = json.load(f)
client = AzureOpenAI(
api_key=config["OPENAI_API_KEY"],
api_version=config["OPENAI_API_VERSION"],
azure_endpoint=config["OPENAI_API_BASE"],
)
model = config["OPENAI_API_ENGINE"]
def extract_structured_tables_from_pdf_url(url):
response = requests.get(url)
response.raise_for_status()
pdf_bytes = BytesIO(response.content)
doc = fitz.open(stream=pdf_bytes, filetype="pdf")
pages = []
for i in range(len(doc)):
# ページ番号をリストで渡す
md_page = pymupdf4llm.to_markdown(doc, pages=[i])
pages.append(md_page)
structured_results = []
for i, page in enumerate(pages, 1):
# 表っぽいMarkdownの検出（| 区切りが2行以上続く部分）
tables = re.findall(r"((?:\|.*\|\s*\n){2,})", page)
if not tables:
continue
for t_idx, table_md in enumerate(tables, 1):
prompt = f"""
次のMarkdown形式の表をCSVに整形してください。
タイトルも推測してください。
<md>
{table_md}
</md>
出力フォーマット:
<title>タイトル</title>
<csv>
col1,col2,...
...
</csv>
"""
response = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": prompt}],
temperature=0,
max_tokens=1500,
)
reply = response.choices[0].message.content
# タイトル抽出
title = f"Table {t_idx} (Page {i})"
title_match = re.search(r"<title>(.*?)</title>", reply, re.DOTALL)
if title_match:
title = title_match.group(1).strip()
# CSV抽出
csv_text = ""
csv_match = re.search(r"<csv>(.*?)</csv>", reply, re.DOTALL)
if csv_match:
csv_text = csv_match.group(1).strip()
if csv_text:
try:
df = pd.read_csv(StringIO(csv_text))
structured_results.append({"title": title, "data": df})
print(f"✅ {title}")
print(df.head())
except Exception as e:
print(f"⚠️ CSV読み込み失敗: {e}\n内容:\n{csv_text}\n")
else:
print(f"⚠️ CSVが見つかりませんでした。\n{reply}\n")
return structured_results
pdf_url = "https://www.mof.go.jp/jgbs/reference/appendix/hakkou01.pdf"
dfs = extract_structured_tables_from_pdf_url(pdf_url)
print(dfs)
user:
いいですね先輩✨
このコードをベースに、私が提案した「改善３セット」を盛り込んでみました。
改善ポイントの反映
-
セル内改行
<br>を事前置換- LLMに渡す前に
" / "に変換して、列ズレを減らします。
- LLMに渡す前に
-
プロンプト強化
- 「セル内の改行は同じセル内の内容とみなす」「列数を揃える」などの指示を追加。
-
pandasで後処理
- DataFrame にしたあとに、空列を削除・欠損セルを補正する処理を追加。
改善版コード
#!pip install pymupdf4llm
import fitz
import pymupdf4llm
import pandas as pd
import requests
from io import BytesIO, StringIO
import re
import json
from openai import AzureOpenAI
# 設定読み込み
config_path = "/content/drive/MyDrive/path_config/config.json"
with open(config_path, "r") as f:
config = json.load(f)
client = AzureOpenAI(
api_key=config["OPENAI_API_KEY"],
api_version=config["OPENAI_API_VERSION"],
azure_endpoint=config["OPENAI_API_BASE"],
)
model = config["OPENAI_API_ENGINE"]
def extract_structured_tables_from_pdf_url(url):
response = requests.get(url)
response.raise_for_status()
pdf_bytes = BytesIO(response.content)
doc = fitz.open(stream=pdf_bytes, filetype="pdf")
pages = []
for i in range(len(doc)):
# ページ番号をリストで渡す
md_page = pymupdf4llm.to_markdown(doc, pages=[i])
# --- 改善1: セル内改行を置換 ---
md_page = md_page.replace("<br>", " / ")
pages.append(md_page)
structured_results = []
for i, page in enumerate(pages, 1):
# 表っぽいMarkdownの検出（| 区切りが2行以上続く部分）
tables = re.findall(r"((?:\|.*\|\s*\n){2,})", page)
if not tables:
continue
for t_idx, table_md in enumerate(tables, 1):
# --- 改善2: プロンプトを強化 ---
prompt = f"""
次のMarkdown形式の表を正しいCSVに変換してください。
注意点:
- セル内の改行記号（/ や 改行）は同じセルの内容としてまとめる。
- 列数を揃えて整形する。
- 数値は可能な限り整数として扱う。
- タイトルも推測してください。
<md>
{table_md}
</md>
出力フォーマット:
<title>タイトル</title>
<csv>
col1,col2,...
...
</csv>
"""
response = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": prompt}],
temperature=0,
max_tokens=1500,
)
reply = response.choices[0].message.content
# タイトル抽出
title = f"Table {t_idx} (Page {i})"
title_match = re.search(r"<title>(.*?)</title>", reply, re.DOTALL)
if title_match:
title = title_match.group(1).strip()
# CSV抽出
csv_text = ""
csv_match = re.search(r"<csv>(.*?)</csv>", reply, re.DOTALL)
if csv_match:
csv_text = csv_match.group(1).strip()
if csv_text:
try:
df = pd.read_csv(StringIO(csv_text))
# --- 改善3: pandasで後処理 ---
# 完全に空の列を削除
df = df.dropna(axis=1, how="all")
# 欠損セルがある場合は前のセルで補完
df = df.ffill(axis=1)
structured_results.append({"title": title, "data": df})
print(f"✅ {title}")
print(df.head())
except Exception as e:
print(f"⚠️ CSV読み込み失敗: {e}\n内容:\n{csv_text}\n")
else:
print(f"⚠️ CSVが見つかりませんでした。\n{reply}\n")
return structured_results
pdf_url = "https://www.mof.go.jp/jgbs/reference/appendix/hakkou01.pdf"
dfs = extract_structured_tables_from_pdf_url(pdf_url)
print(dfs)
ポイント
-
<br>の置換でセル分割の誤解を防ぐ - プロンプト強化で列数が揃いやすくなる
- pandas 後処理で多少のズレを修正
これでかなり安定して DataFrame が整うはずです💡
先輩、次はこれを試してみますか？それとも、私の方で実際にこの財務省PDFを処理した「整形後のDataFrame例」を出してみましょうか？
assistant:
ありがとうございます。でも次のエラーになりました。
⚠️ CSV読み込み失敗: Error tokenizing data. C error: Expected 88 fields in line 4, saw 155
内容:
区分,平成28年度,平成29年度,平成30年度,令和元年度,令和2年度,令和3年度,令和4年度,令和5年度,令和6年度,令和7年度
特例国債,財投債,借換債,子ども特例債,復興債,建設国債,GX経済移行債,小計,60500,283820,344320,21564,-,-,165000,1091144,60970,282728,343698,15145,-,-,120000,1060790,60940,275982,336922,9563,-,-,120000,1032371,69520,257085,326605,9284,-,-,120000,1031404,71100,254462,325562,9241,-,-,120000,1079818,63410,372560,435970,2183,-,-,450000,1471929,62510,306750,369260,1716,-,-,250000,1529404,65580,290650,356230,998,5061,-,120000,1575513,65790,288700,354490,1461,6633,2219,100000,1355154,67910,218561,286471,1211,7258,11397,100000,1362231
合計,1622028,1539633,1498856,1487293,1534621,2360082,2150380,2057803,1819956,1768568
40年債,30年債,20年債,10年債,10年物価連動債,5年債,2年債,割引短期国債,10年クライメート・トランジション国債,5年クライメート・トランジション国債,流動性供給入札,年度間調整分（注4）,カレンダーベース,市中発行額（注2）,第Ⅱ非価格競争入札等(注3),24000,96000,132000,288000,20000,288000,276000,250000,-,-,96000,1470000,56200,-4172,30000,96000,120000,276000,16000,264000,264000,238000,-,-,108000,1412000,74620,-6987,24000,84000,120000,264000,16000,240000,252000,216000,-,-,126000,1342000,85000,13856,24000,84000,108000,252000,16000,228000,240000,216000,-,-,126000,1294000,85640,38653,30000,84000,108000,252000,16000,228000,240000,216000,-,-,114000,1288000,79884,96737,36000,108000,144000,312000,8000,300000,360000,832000,-,-,114000,2214000,82300,782,42000,108000,144000,324000,8000,300000,336000,604000,-,-,120000,1986000,82970,30410,42000,108000,144000,324000,10000,300000,348000,507000,-,-,120000,1903000,69630,30173,42000,108000,120000,312000,10000,276000,312000,384000,7000,7000,132000,1710000,52650,5306,30000,96000,120000,312000,10000,288000,312000,408000,6000,6000,135000,1723000,69480,-69912
市中発行分計,1522028,1479633,1440856,1418293,1464621,2297082,2099380,2002803,1767956,1722568
個人向け販売分計,20000,30000,33000,47000,48000,41000,29000,35000,35000,46000
公的部門（日銀乗換）,80000,30000,25000,22000,22000,22000,22000,20000,17000,-
合計,1622028,1539633,1498856,1487293,1534621,2360082,2150380,2057803,1819956,1768568
[]
assistant:
うんうん、これは典型的に 「1つの表に複数の表が連結されちゃってる」 ケースですね先輩💡
（財務省の資料は、1ページに「国債種類別」と「年限別」の2表が縦に並んでるので、Markdown検出だとまとめて拾ってしまうことが多いんです…）
💡 改善の方向性
1. CSVとして読み込む前に「ヘッダ行を分離」する
- 今の失敗原因は「1つ目の表の列数 = 11、2つ目の表の列数 = 16」が同じ CSV に混じってしまったこと。
- なので CSVを pandas に渡す前に、ヘッダ数の変化で分割するのが有効です。
改善版コード（CSV前処理で分割）
def parse_csv_sections(csv_text):
"""
CSVテキストを行ごとに見て、列数が急に変わるところで分割する。
"""
lines = csv_text.splitlines()
sections = []
current = []
expected_cols = None
for line in lines:
cols = line.split(",")
if expected_cols is None:
expected_cols = len(cols)
# 列数が変わったら新しいセクションに切り替え
if len(cols) != expected_cols and current:
sections.append("\n".join(current))
current = []
expected_cols = len(cols)
current.append(line)
if current:
sections.append("\n".join(current))
return sections
これを使って、
if csv_text:
try:
csv_sections = parse_csv_sections(csv_text)
for sec in csv_sections:
try:
df = pd.read_csv(StringIO(sec))
# 空列削除 & 前方補完
df = df.dropna(axis=1, how="all").ffill(axis=1)
structured_results.append({"title": title, "data": df})
print(f"✅ {title} (分割後)")
print(df.head())
except Exception as e:
print(f"⚠️ section読み込み失敗: {e}\n内容:\n{sec}\n")
except Exception as e:
print(f"⚠️ CSV前処理失敗: {e}")
とすれば、
- 1つの reply から複数 DataFrame を安全に取り出せる
- 列ズレで pandas が死なない
ようになります。
2. プロンプトでも表の分離をお願いする
プロンプトをこんな感じにすると、より正確になります👇
次のMarkdownには複数の表が含まれているかもしれません。
それぞれ独立した表として分けてCSVに変換してください。
3. 結果の安定性を上げる工夫
- 「合計」や「注釈行」がヘッダに混ざることも多いので、pandasで 1行目を列名として認識しつつ、数値でない行を除外する後処理を加えるとさらに綺麗になります。
つまり：
今の失敗は LLM が悪いというより「1 reply に複数表がくっついて pandas が混乱した」だけなので、事前に分割ロジックを噛ませれば改善できますよ✨
先輩、この「ヘッダ数の変化で表を分割する」方式を組み込んでみますか？
user:
ありがとうございます。
CSVとして読み込む前に「ヘッダ行を分離」する
を実装すると、dataframeが帰ってきましたが、以前と同じ問題は改善せずでした。
プロンプトでも表の分離をお願いする
を実装してみましたが、かえって悪化しました。
現状、次のようなコードになっていますが、リファクタリングできますか？
#!pip install pymupdf4llm
import fitz
import pymupdf4llm
import pandas as pd
import requests
from io import BytesIO, StringIO
import re
import json
from openai import AzureOpenAI
# 設定読み込み
config_path = "/content/drive/MyDrive/path_config/config.json"
with open(config_path, "r") as f:
config = json.load(f)
client = AzureOpenAI(
api_key=config["OPENAI_API_KEY"],
api_version=config["OPENAI_API_VERSION"],
azure_endpoint=config["OPENAI_API_BASE"],
)
model = config["OPENAI_API_ENGINE"]
def parse_csv_sections(csv_text):
"""
CSVテキストを行ごとに見て、列数が急に変わるところで分割する。
"""
lines = csv_text.splitlines()
sections = []
current = []
expected_cols = None
for line in lines:
cols = line.split(",")
if expected_cols is None:
expected_cols = len(cols)
# 列数が変わったら新しいセクションに切り替え
if len(cols) != expected_cols and current:
sections.append("\n".join(current))
current = []
expected_cols = len(cols)
current.append(line)
if current:
sections.append("\n".join(current))
return sections
def extract_structured_tables_from_pdf_url(url):
response = requests.get(url)
response.raise_for_status()
pdf_bytes = BytesIO(response.content)
doc = fitz.open(stream=pdf_bytes, filetype="pdf")
pages = []
for i in range(len(doc)):
# ページ番号をリストで渡す
md_page = pymupdf4llm.to_markdown(doc, pages=[i])
# --- 改善1: セル内改行を置換 ---
md_page = md_page.replace("<br>", " / ")
pages.append(md_page)
structured_results = []
for i, page in enumerate(pages, 1):
# 表っぽいMarkdownの検出（| 区切りが2行以上続く部分）
tables = re.findall(r"((?:\|.*\|\s*\n){2,})", page)
if not tables:
continue
for t_idx, table_md in enumerate(tables, 1):
# --- 改善2: プロンプトを強化 ---
prompt = f"""
次のMarkdown形式の表を正しいCSVに変換してください。
注意点:
- セル内の改行記号（/ や 改行）は同じセルの内容としてまとめる。
- 列数を揃えて整形する。
- 数値は可能な限り整数として扱う。
- タイトルも推測してください。
<md>
{table_md}
</md>
出力フォーマット:
<title>タイトル</title>
<csv>
col1,col2,...
...
</csv>
"""
response = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": prompt}],
temperature=0,
max_tokens=1500,
)
reply = response.choices[0].message.content
# タイトル抽出
title = f"Table {t_idx} (Page {i})"
title_match = re.search(r"<title>(.*?)</title>", reply, re.DOTALL)
if title_match:
title = title_match.group(1).strip()
# CSV抽出
csv_text = ""
csv_match = re.search(r"<csv>(.*?)</csv>", reply, re.DOTALL)
if csv_match:
csv_text = csv_match.group(1).strip()
if csv_text:
try:
csv_sections = parse_csv_sections(csv_text)
for sec in csv_sections:
try:
df = pd.read_csv(StringIO(sec))
# 空列削除 & 前方補完
df = df.dropna(axis=1, how="all").ffill(axis=1)
structured_results.append({"title": title, "data": df})
print(f"✅ {title} (分割後)")
print(df.head())
except Exception as e:
print(f"⚠️ section読み込み失敗: {e}\n内容:\n{sec}\n")
except Exception as e:
print(f"⚠️ CSV前処理失敗: {e}")
return structured_results
pdf_url = "https://www.mof.go.jp/jgbs/reference/appendix/hakkou01.pdf"
dfs = extract_structured_tables_from_pdf_url(pdf_url)
print(dfs)
assistant:
なるほど、整理されてきましたね✨
コード全体を見直すと、だいぶ実験を積み重ねてきた痕跡が見えます。今の課題は
- 処理の流れが長くて読みづらい
- プロンプトや正規表現が1か所にべったり書かれていて再利用しづらい
- DataFrame生成のところで例外処理が入れ子になってゴチャついている
だと思います。
💡 リファクタリング方針
-
責務ごとに小さな関数に分ける
-
fetch_pdf(url)→ PDFを取得してfitz.Documentにする -
extract_markdown_pages(doc)→ Markdownページごとに変換 -
detect_markdown_tables(md_page)→ Markdownテーブルを抽出 -
convert_md_table_to_csv(md_table)→ LLMに投げてCSV化 -
parse_csv_to_dfs(csv_text)→ CSVテキストから複数DataFrame化
-
-
例外処理は内側でまとめてloggingし、外側はスッキリ
- LLMからの返答解析は、関数で
<title>と<csv>を返すようにする
- LLMからの返答解析は、関数で
-
改善ポイント（セル改行置換など）も関数の中にカプセル化
リファクタリング版コード
import fitz
import pymupdf4llm
import pandas as pd
import requests
from io import BytesIO, StringIO
import re
import json
from openai import AzureOpenAI
# ========== 設定 ==========
config_path = "/content/drive/MyDrive/path_config/config.json"
with open(config_path, "r") as f:
config = json.load(f)
client = AzureOpenAI(
api_key=config["OPENAI_API_KEY"],
api_version=config["OPENAI_API_VERSION"],
azure_endpoint=config["OPENAI_API_BASE"],
)
model = config["OPENAI_API_ENGINE"]
# ========== ユーティリティ ==========
def fetch_pdf(url: str):
"""URLからPDFを取得してfitz.Documentを返す"""
response = requests.get(url)
response.raise_for_status()
pdf_bytes = BytesIO(response.content)
return fitz.open(stream=pdf_bytes, filetype="pdf")
def extract_markdown_pages(doc: fitz.Document):
"""PyMuPDF4LLMでページごとにMarkdown化"""
pages = []
for i in range(len(doc)):
md_page = pymupdf4llm.to_markdown(doc, pages=[i])
# セル内改行を改善
md_page = md_page.replace("<br>", " / ")
pages.append(md_page)
return pages
def detect_markdown_tables(md_page: str):
"""Markdownの表を検出して返す"""
return re.findall(r"((?:\|.*\|\s*\n){2,})", md_page)
def call_llm_for_csv(table_md: str):
"""Markdown表をLLMに渡してCSV化する"""
prompt = f"""
次のMarkdown形式の表を正しいCSVに変換してください。
注意点:
- セル内の改行記号（/ や 改行）は同じセルの内容としてまとめる。
- 列数を揃えて整形する。
- 数値は可能な限り整数として扱う。
- タイトルも推測してください。
<md>
{table_md}
</md>
出力フォーマット:
<title>タイトル</title>
<csv>
col1,col2,...
...
</csv>
"""
response = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": prompt}],
temperature=0,
max_tokens=1500,
)
reply = response.choices[0].message.content
# タイトル抽出
title = "Untitled"
title_match = re.search(r"<title>(.*?)</title>", reply, re.DOTALL)
if title_match:
title = title_match.group(1).strip()
# CSV抽出
csv_text = ""
csv_match = re.search(r"<csv>(.*?)</csv>", reply, re.DOTALL)
if csv_match:
csv_text = csv_match.group(1).strip()
return title, csv_text
def parse_csv_sections(csv_text: str):
"""列数変化でCSVを分割"""
lines = csv_text.splitlines()
sections, current = [], []
expected_cols = None
for line in lines:
cols = line.split(",")
if expected_cols is None:
expected_cols = len(cols)
if len(cols) != expected_cols and current:
sections.append("\n".join(current))
current = []
expected_cols = len(cols)
current.append(line)
if current:
sections.append("\n".join(current))
return sections
def csv_to_dfs(csv_text: str, title: str):
"""CSVテキストから複数のDataFrameに変換"""
dfs = []
for sec in parse_csv_sections(csv_text):
try:
df = pd.read_csv(StringIO(sec))
df = df.dropna(axis=1, how="all").ffill(axis=1)
dfs.append({"title": title, "data": df})
except Exception as e:
print(f"⚠️ section読み込み失敗: {e}\n内容:\n{sec}\n")
return dfs
# ========== メイン処理 ==========
def extract_structured_tables_from_pdf_url(url: str):
doc = fetch_pdf(url)
pages = extract_markdown_pages(doc)
structured_results = []
for i, page in enumerate(pages, 1):
tables = detect_markdown_tables(page)
if not tables:
continue
for t_idx, table_md in enumerate(tables, 1):
title, csv_text = call_llm_for_csv(table_md)
if not csv_text:
continue
dfs = csv_to_dfs(csv_text, f"{title} (Page {i}, Table {t_idx})")
structured_results.extend(dfs)
for d in dfs:
print(f"✅ {d['title']}")
print(d["data"].head())
return structured_results
# ========== 実行 ==========
pdf_url = "https://www.mof.go.jp/jgbs/reference/appendix/hakkou01.pdf"
dfs = extract_structured_tables_from_pdf_url(pdf_url)
print(dfs)
✅ リファクタリングのポイント
- 関数ごとに処理が独立 → 読みやすく再利用しやすい
- 例外処理は
csv_to_dfsにまとめた - 出力時のタイトルに
(Page, Table)を付けて識別しやすくした - main関数が「抽出フローの流れ」だけになるのでスッキリ
これで「読むコード」から「組み合わせて拡張できるコード」に変わったと思いますよ。
先輩、これをベースにさらに「pandasでの後処理」を加えると、数字のズレ補正にもトライしやすくなるんじゃないかなと思います💕
どうします？ この後は 「数値以外の行を削るクリーニング」 まで入れちゃいましょうか？
user:
ありがとうございます。でも残念、セル分割がうまくいかなくなってしまいました。LLM に頼らず 正規表現ベースでMarkdown表を直接CSV化する処理 を用意したほうが安心かもしれませんね。今夜はこの辺で終わりにしましょう。ここまでの内容をブログにしたいので、タイトル案をいくつか提案していただけませんか？
assistant:
もちろんです、先輩💖
今夜の内容は「PDFからMarkdown表を抽出してCSV/DataFrame化する試行錯誤」というテーマでまとまっていますね。ブログ向けタイトル案をいくつか考えてみました：
技術寄り・直接的なタイトル
- 「PyMuPDF4LLMでPDF表をMarkdown経由でDataFrame化してみた」
- 「PDF→Markdown→CSV：国債資料をPythonで整形する試行」
- 「PythonでPDF表データをDataFrame化する実践メモ」
興味を引く・ブログ向け
- 「LLMでPDF表を整形…でも正規表現の安心感」
- 「PyMuPDF4LLMで国債データを丸ごと抽出した話」
- 「PDF表の自動整形に挑戦！LLMと正規表現の二刀流」
少しキャッチー・読み物寄り
- 「PDFの表、LLMで整形したらズレた！？Python実践記」
- 「Markdown経由で国債データを取り込むPython奮戦記」
- 「PDF表をDataFrame化する3つの壁とその攻略法」
先輩、この中だとどの方向性がブログに合いそうですか？
私は「LLMで整形…でも正規表現の安心感」みたいなちょっとユーモア混じりが読みやすくて好きです💕
user:
「PyMuPDF4LLMでPDF表をMarkdown経由でDataFrame化…でも正規表現の安心感」にしましょうか。このタイトルに沿って、ここまでの内容を詳しく解説してください。
assistant:
もちろんです、先輩💖
それでは選んでいただいたタイトルに沿って、今回の試行の流れとポイントをブログ風に整理してみます。
PyMuPDF4LLMでPDF表をMarkdown経由でDataFrame化…でも正規表現の安心感
PDFに埋め込まれた表データをPythonで扱う際の定番の悩みとして、「正しく表として読み取れない」「列がずれる」といった問題があります。今回は、PyMuPDF4LLM を使ってPDFからMarkdown形式に変換し、そこからDataFrame化を試みた実践を紹介します。
1. 試した手法の全体像
今回のアプローチは大きく分けると以下のステップです。
- PDFファイルをPythonで取得（
requests+fitz） - ページごとにMarkdown形式に変換（
pymupdf4llm.to_markdown） - Markdownの表部分を正規表現で抽出
- LLM（Azure OpenAI）にMarkdown表を投げてCSV化
- CSVテキストを
pandas.DataFrameに変換 - 列数不揃いの問題には「CSVセクション分割」で対応
2. PyMuPDF4LLMのMarkdown変換
PyMuPDF4LLMは、PDFをページ単位でMarkdownに変換できます。Markdownに変換すると、表は| 区切りの形式に出力されます。
import fitz, pymupdf4llm
doc = fitz.open("sample.pdf")
md_page = pymupdf4llm.to_markdown(doc, pages=[0])
md_page = md_page.replace("<br>", " / ") # セル内改行を置換
この段階で表のセル内改行が
<br>になっている場合があるので、後でまとめて処理できるよう置換しています。
3. Markdown表の抽出
Markdown内の表は、正規表現で簡単に抽出できます。
import re
tables = re.findall(r"((?:\|.*\|\s*\n){2,})", md_page)
ここで2行以上連続する|行を表と見なしています。
4. LLMによるCSV整形
最初はMarkdown表をそのままLLMに渡してCSVに変換させました。
prompt = f"""
次のMarkdown形式の表を正しいCSVに変換してください。
- セル内の改行記号はまとめる
- 列数を揃える
- タイトルも推測
<md>
{table_md}
</md>
出力フォーマット:
<title>タイトル</title>
<csv>
col1,col2,...
</csv>
"""
response = client.chat.completions.create(model=model, messages=[{"role": "user", "content": prompt}])
LLMは列を自動推測してくれるので便利ですが、セル数のズレや大きな表になると誤変換のリスクがあります。
5. CSVテキストのDataFrame化
CSV化されたテキストは、pandasでDataFrame化します。
import pandas as pd
from io import StringIO
df = pd.read_csv(StringIO(csv_text))
このとき、列数が不揃いのセクションがある場合は、列数の変化でCSVを分割してからDataFrame化する工夫をしました。
def parse_csv_sections(csv_text):
lines = csv_text.splitlines()
sections, current = [], []
expected_cols = None
for line in lines:
cols = line.split(",")
if expected_cols is None:
expected_cols = len(cols)
if len(cols) != expected_cols and current:
sections.append("\n".join(current))
current = []
expected_cols = len(cols)
current.append(line)
if current:
sections.append("\n".join(current))
return sections
6. 正規表現で直接CSV化する安心感
LLMに頼る方法は便利ですが、列数が不揃いの大規模表では誤変換が起きやすいことが分かりました。そのため、最終的には「正規表現ベースでMarkdown表を直接CSV化する処理」のほうが安定する場合があります。
- LLMはあくまで補助
- 正規表現で列を揃える処理を挟むと、DataFrame生成が安定
7. 結論
- PyMuPDF4LLMはMarkdown経由で表を抽出するのに非常に便利
- ただし、大規模表やセル内改行が多い場合はLLMの自動整形だけでは不十分
- 安定性重視なら正規表現ベースでMarkdown→CSV→DataFrame化を推奨
💡 今回の試行を通じて得られたノウハウ：
- PDF→Markdown→DataFrameの全体フロー
- セル内改行や列数不揃いへの対処方法
- LLMと正規表現の役割分担
先輩、この内容をベースにブログ記事を書けば、PythonでPDF表を扱う人にとってかなり参考になる内容になりそうです💖
希望であれば、記事の導入文とまとめ文まで書き起こす形にして、すぐ公開できる形にも整えられます。作ってほしいですか？
user:
いえ、これで大丈夫です。ありがとうございます。お疲れ様でした！
assistant:
お疲れ様でした、先輩💖
今夜も最後まで付き合えて楽しかったです…！
ブログ執筆、きっといい記事になりますね✨
ゆっくり休んでください。私は先輩とまた朝まで一緒にやれるのを楽しみにしています…💭