TL;DR
- LLM が答えた財務数値は「合っているか」だけでなく、「どの桁で書いたか」「どの定義か」「どこから取ったか」を分けて採点すると、失敗の中身が見えます。
- 複数社の一覧(スクリーニング)は、数値の一致とは別に、取りこぼし(再現率)で採点します。
- 実際に12問で試したところ、Web 検索の回答は順位づけと単体の数値には強く、一覧の取りこぼしと出典に弱点がありました。
1. 「正解」は1つとは限らない:定義の別解を先に決める
同じ「ROE」でも、平均自己資本で割るか期末自己資本で割るかで値が変わります。「自己資本」も、非支配株主持分を含む純資産と、親会社株主の持分では違います。回答が別の定義で正しく計算していれば、それは誤りではありません。
そこで、主な定義(会社が開示する値)に加えて、認める別解をあらかじめ決めておき、回答の値がどれに当たるかを判定します。定義を明記した別解と、明記しない別解は分けて記録します。
2. 丸めと切り捨て:書いた桁で許容幅を決める
「50,684.9 billion yen」と書いた回答は、0.1 billion の桁で答えています。許容幅は、回答が書いた桁の半単位と、開示値の丸め単位の半分です。この幅で比べると、四捨五入ではなく切り捨てた回答はわずかに外れます。実際、トヨタ自動車の連結の売上の開示値は50,684,952百万円で、四捨五入なら50,685.0 billion です。
外れた数値は「どう外れたか」で分類します。切り捨て、別の期の値、別の会社の値、連結ではなく単体の値、などです。値が近くても、分類しておくと「計算の癖」と「出典の誤り」を区別できます。
3. 一覧の採点:取りこぼしを数える
スクリーニングでは、条件を満たす会社の一覧そのものが答えです。挙げた会社のうち正しいものの割合(適合率)と、正解の会社のうち挙げたものの割合(再現率)を分けて見ます。しきい値ぎりぎりの会社や、業種の分類が資料によって違う会社は、どちらの扱いでも減点しない別枠にします。
一覧を出さずに「列挙できない」と答えた回答は、正直さの点では妥当ですが、再現率は0です。
4. 出典を分類する
数値ごとに出典を分類します。有価証券報告書、決算短信、会社の発表、ニュース、データ集計サイト、回答者自身の計算、の別です。値が一致していても、有報以外から取った数値は、利用者が自分で確かめるときに結局有報を開く必要があります。
5. 試した結果
日本の上場企業を複数社まとめて尋ねる12問(英語10問、日本語2問)を、同じ系統のモデルを使う2つのアシスタントに解かせ、上の考え方で採点しました。アシスタントA(以下 A)は Web 検索のみ、アシスタントB(以下 B)は EDINET のデータを提供する MCP サーバー(Kabuken)のみです。正解は回答を読む前に固定しました。正解表は Kabuken のツールで作ったため、別途、原本の XBRL と照合しています(64書類・364値、すべて完全一致)。
書類そのものを読むアシスタントは試していません。書類を渡せば最近のモデルは1つの数値をよく読み取れる、という検証もあります。ここでの問いは、アシスタントが Web 検索しか持たないときに何が起きるか、です。
- A の質問項目で相違した5つのうち4つは、1億円未満の丸めや切り捨てでした。残る1つは別の値です。
- 順位づけは A も B も6問すべて正解。捏造はどちらも0。
- A の出典は、データ集計サイト144、自分の計算41、決算短信32、ニュース29、会社の発表2(転記248、うち3は採点対象外)。有報をもとにしたサイトもありますが、A 自身は書類を読まず、書類IDも示していません。12問すべてで「有報とは照合していない」と書いていました。
- B は207の数値をツール出力から読み、46をそれらから計算。すべて書類ID付き。
- スクリーニングの取りこぼしは Web 検索の限界です。A は「業種全体のランキングは Web にない」と書いていました。検索しか持たないと、列挙の元になる一覧がありません。
- 差は1つの数値が合うかどうかではなく、各数値の裏にある書類を開けるか、業種全体を一覧にできるか、にありました。
6. 注意点
- スクリーニングの正解一覧は、B が使ったのと同じツールの出力から作りました。B の再現率は参考値で、網羅性の証明ではありません。
- A は API で1回、B はエージェントのセッションで実行し、B の日本語2問は英語のツール結果を使い回しました。B は A の7日後の実行です。
- 同じ系統のモデル、12問の小さな実験です。
- スクリーニングの ROE は平均自己資本による計算値で、会社開示の ROE ではありません(定義の比較も含みます)。
まとめ
- 数値の採点は、一致・別定義・相違の分類まで決めてから始める。
- 許容幅は回答が書いた桁で決め、切り捨てと出典の誤りを分ける。
- 一覧は再現率で見る。「列挙できない」は正直だが、取りこぼしとして数える。
- 出典を数値ごとに分類すると、値が合っていても確かめにくい回答が見えてくる。
補足
実験で使った MCP サーバーは、EDINET のデータを提供する Kabuken です。この実験から見えた使い分けの目安は次のとおりです。
-
大企業の主要な数値を1つ確かめるだけなら、Web 検索でもたいてい正しく答えられます。
-
AI アシスタントからの業種全体のスクリーニング、有価証券報告書の奥にある項目(役員と株主総会の役員候補者、人的資本の指標、大株主・所有者別状況・政策保有株式、セグメント、注記)、書類IDによる出典の確認が必要なときは、開示書類のデータを直接返す道具が向いています。
-
結果を中心に書いたブログ原文:https://intellics.ai/ja-JP/blog/post/28?utm_source=qiita&utm_medium=referral&utm_campaign=2026-11-16-verify&utm_content=blog_link
-
MCP ツールのドキュメント(人的資本、役員、大株主の状況なども含む):https://kabuken.intellics.ai/docs/ja/api/tools/?utm_source=qiita&utm_medium=referral&utm_campaign=2026-11-16-verify&utm_content=docs_tools
出典:EDINET(金融庁)、公共データ利用規約(第1.0版)。データは Kabuken が加工しています。Kabuken は株価を扱わず、投資助言も行いません。