本記事は Zenn からのクロス投稿です。元記事に最新版があります。
はじめに
日本の上場企業の有価証券報告書(有報)は EDINET から XBRL でダウンロードできます。XBRLとは機械が読める決算短信みたいなものです。
これを生で扱うと大変なので、4135社 × 10年分を横断検索するために sqlite に詰めるまでに苦労したところを書きます。
成果物は edinetty.com で動かしていて、誰でも全社のスクリーニングや決算ランキングが見られます。
パイプラインは3段:
EDINET API ─▶ fetcher (raw XBRL → sqlite raw)
─▶ normalizer (タグ正規化 → sqlite normalized)
─▶ exporter (社別 JSON.gz → Cloudflare R2)
真ん中の normalizer が本記事のメインです。
「売上高」のタグが20種類以上ある
EDINET の XBRL は会計基準と業種でタグがかなり揺れます。同じ「売上高」のつもりで実データを引いたら、こんなラインナップが出てきました。
| タグ | 主な用途 |
|---|---|
NetSales |
JGAAP 製造業 |
NetSalesIFRS |
IFRS 製造業 |
Revenue / Revenues
|
IFRS / US-GAAP |
OperatingRevenue1 / OperatingRevenue2
|
不動産・サービス業 |
OrdinaryRevenues |
銀行業 |
InsurancePremiumsAndOtherOIINS |
生命保険 |
BusinessRevenue |
単体開示の事業会社 |
NetSalesOfCompletedConstructionContracts |
建設業 |
OrdinaryIncomeSummaryOfBusinessResults |
保険会社の経常収益(罠) |
最後のタグが厄介で、OrdinaryIncome で前方マッチさせると保険会社の売上が経常利益として取り込まれます。
設計: タグに優先度を振る
正規化マスタに 正規名 → 候補タグの優先度リスト を持たせます。
TAG_GROUPS = {
"revenue": [
("NetSales", 100), ("NetSalesIFRS", 100),
("Revenue", 90), ("Revenues", 90),
("OperatingRevenue1", 85),
("InsurancePremiumsAndOtherOIINS", 87),
("OrdinaryIncomeSummaryOfBusinessResults", 45), # 罠タグは低優先度
("Sales", 40),
# ... 全21タグ
],
"operating_income": [
("OperatingIncome", 100), ("OperatingProfit", 100),
("BusinessProfit", 40), # IFRS 事業利益(最終手段)
],
...
}
ポイントは優先度の数値です。同じ会社・同じ年度に複数の候補タグが並んだとき、高い方を採用します。
保険会社なら InsurancePremiumsAndOtherOIINS(87)が OrdinaryIncomeSummaryOfBusinessResults(45) より優先されて、売上が正しく拾えます。
これを revenue operating_income total_assets equity ... など62個の正規名について維持しています。運用しているとまだ新しい誤検出が出てきます。
DB スキーマ
normalized 側のテーブルはシンプルで、1行 = 1要素値です。
CREATE TABLE financials_normalized (
edinet_code TEXT,
fiscal_year INTEGER,
period_type TEXT, -- FY / Q1 / Q2 / Q3
period_end TEXT,
element TEXT, -- 正規名
value REAL,
unit TEXT,
doc_id TEXT,
source_tag TEXT, -- 元の XBRL タグ
tag_priority INTEGER,
consolidation_status TEXT, -- Consolidated / NonConsolidated
UNIQUE(edinet_code, fiscal_year, period_type, element, period_end, consolidation_status)
);
効いているのが source_tag と tag_priority を残していることです。これがあれば「正規化が優先度通りに動いているか」を SQL 一発で監査できます。罠タグの拾い直しも、これがなければ追跡不能でした。
BS の細目は HTML 表に埋まってる
BS(貸借対照表)の細目(売掛金、棚卸資産、リース資産、…)は、会社によっては個別タグで出してくれません。代わりに BalanceSheetTextBlock という巨大文字列に HTML の表として埋め込まれています。
つまり XBRL 値としてこういう文字列が1個ぶら下がっています:
<table>
<tr><td>棚卸資産</td><td>1,234</td></tr>
...
</table>
これをパースしないと inventory や lease_assets の網羅率が大きく落ちるので、力技で BS textblock パーサを書きました。表のヘッダから「単位: 百万円」を拾い、行ラベルから「棚卸資産」「商品及び製品」をマッチさせて値を取ります。
ここからが面倒で、表記揺れが多いです:
- 全角スペースと半角スペース
- カッコの種類(
( )( )[ ]) - 単位表記(「百万円」「(百万円)」「単位:百万円」)
- 行ラベルの順序(業種で違う)
- 値の手前に注記マーク(
*1*5,14など)が入る - IFRS導入年は「移行日 / 前期 / 当期」の3列、通常年は「前期 / 当期」の2列で、列数が表ごとに変わる
全部正規化してから比較しないとマッチしません。さらに「非流動資産合計」のような長いラベルが「流動資産合計」を部分マッチで誤って拾わないように、ラベルの直前に日本語が来るパターンを抑制する処理も要ります。
訂正有報の扱い
EDINET には訂正有報という制度があります。原本の数値が誤っていると、後から訂正版が出ます。
雑に全部 INSERT すると訂正前後の値が混在し、同じ会社・同じ年度に2つの売上が並びます。
対策として「同じ edinet_code × fiscal_year で訂正報告書が出ているなら、原本側の doc_id を弾く」フィルタを入れました。これで二重計上は防げます。
ただし INSERT OR IGNORE で先勝ちにしているので、textblock 由来の細目値を、後から来た原本タグが上書きできません。「個別タグしか出していない訂正報の値が反映されない」という挙動が残っています。直したいのですが波及範囲が読み切れていません。
規模感
最終的に sqlite に入っているデータ:
- 4135社 × 約10年 × 62の正規化フィールド
- normalized DB: 約 690MB
- exporter で社別 JSON.gz に分割し、Cloudflare R2 に静的配信
社別 JSON は edinetty.com のフロント(Hono on Cloudflare Workers)が R2 から直接読んでいます。DB を立てずに sqlite + R2 + 静的 JSON で全社スクリーニングが回せています。
この構成の話は別記事で書く予定です。
まとめ
XBRL 正規化は「タグ揺れ」「textblock パース」「訂正報」あたりに全部対処して初めて使える数字になります。
正規化マスタは運用していくとまだ新しい誤検出が出てきます。会計基準ごとに罠タグを別表で持ち、優先度で殺すという運用が、今のところ一番マシな解でした。
今回書ききれなかった話が2つ残っています(期末後の株式分割で per-share が二重調整される問題、外貨建て報告社の自動検出)。別記事で書く予定です。
成果物は edinetty.com で動いています。ランキング・スクリーナー・異常決算レポート がこの正規化データの上に乗っかっています。数字に違和感があれば教えてください、たぶん新しい罠タグです。