wiktionaryのxmlをwikiextractorで整形するとtextの情報が減る

概要

wiktionaryの情報を使って辞書を作りたく、wikiextractorで文章の整形（マークアップ等の除去）を試みたところ、なぜかtextの情報が減ってしまった。
wikipediaではなくwiktionaryを整形しようとしているので、wikiextractorに非はない。
とりあえず、作業録として残しておく。

注：2022年に書いた記事です。当時は自分用として限定公開にしていましたが、積極的に隠すほどでもないと考え直して公開します。

環境

% sw_vers
ProductName:	macOS
ProductVersion:	11.6.1
BuildVersion:	20G224
% python -V
Python 3.9.10

手順

wikiextractorを利用して、wiktionaryのjsonデータを作成

curl -O https://dumps.wikimedia.org/jawiktionary/latest/jawiktionary-latest-pages-articles.xml.bz2
pip install wikiextractor
# 以下でtextというフォルダの中にwiktionaryのpage情報を１行に一つずつ書かれたテキストファイルが生成される
python -m wikiextractor.WikiExtractor data/jawiktionary-latest-pages-articles.xml.bz2 --json
# 一つのファイルに纏めたい場合。今回は必須ではない。
cat text/*/* > jawiktionary.txt

pythonで中身を確認

import json
import os
path = os.path.join("text","AA","wiki_00")

data = {}
with open(path) as f:
  for line in f:
    jsondata = json.loads(line)
    title = jsondata["title"]
    assert title not in data
    data[title] = jsondata

# 「杞憂」の中身を出力
print(data["杞憂"])

{'id': '725', 'revid': '329', 'url': 'https://ja.wiktionary.org/wiki?curid=725', 'title': '杞憂', 'text': '日本語.\n名詞.\n杞憂（きゆう）\n\n（\u3000簡体字:杞忧）'}

textの内容がwebpageに書かれているものと比べて明らかに少ない。

# https://ja.wiktionary.org/wiki?curid=725 より抜粋
日本語
名詞
杞憂（きゆう）

将来のことについて、する必要のない心配をすること。根拠のない心配。取り越し苦労。杞人憂天。
杞憂に終わる
杞憂に過ぎない
次に女子解放運動が、女子をして、その母性を失わしめると論じるのも理由のないことで、事実を離れた、一種の杞憂です。（与謝野晶子 『「女らしさ」とは何か』）
由来
古代中国の杞 (wp)と言う国の人が「いつか天地が崩壊してしまうのではないか」と心配していたという故事より。杞人の憂い。（出典『列子』天瑞篇）
「杞」は夏 (wp)の遺民が封ぜられた国であり、周代後期以降、時代遅れの風習を有する国とのイメージがあり、このような例の引き合いに出された。同様の例として、殷 (wp)の遺民が封ぜられた宋 (wp)がある（例.「守株」、「宋襄の仁」）。
関連項目
終末論
訳語
フランス語:souci
中国語
名詞
杞 憂（qǐyōu　簡体字:杞忧）

（日本語に同じ）。
同義句
杞人憂天/杞人忧天

「杞憂」はたまたま見つけただけだが、これに限らず、情報が落ちているタイトルがありそう。
いったん、wikiextractorを使うのは諦める。

参考

jawiktionaryのDLリンク
https://dumps.wikimedia.org/jawiktionary/latest/

wikiextractor
https://github.com/attardi/wikiextractor

wikiextractorの使い方Tips
https://qiita.com/hoppiece_/items/72753b7ac08f0bd4993f