0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

LLM が答えた財務数値を有報で採点する:丸め・定義の違い・一覧の取りこぼし

0
Posted at

TL;DR

  • LLM が答えた財務数値は「合っているか」だけでなく、「どの桁で書いたか」「どの定義か」「どこから取ったか」を分けて採点すると、失敗の中身が見えます。
  • 複数社の一覧(スクリーニング)は、数値の一致とは別に、取りこぼし(再現率)で採点します。
  • 実際に12問で試したところ、Web 検索の回答は順位づけと単体の数値には強く、一覧の取りこぼしと出典に弱点がありました。

1. 「正解」は1つとは限らない:定義の別解を先に決める

同じ「ROE」でも、平均自己資本で割るか期末自己資本で割るかで値が変わります。「自己資本」も、非支配株主持分を含む純資産と、親会社株主の持分では違います。回答が別の定義で正しく計算していれば、それは誤りではありません。

そこで、主な定義(会社が開示する値)に加えて、認める別解をあらかじめ決めておき、回答の値がどれに当たるかを判定します。定義を明記した別解と、明記しない別解は分けて記録します。

2. 丸めと切り捨て:書いた桁で許容幅を決める

「50,684.9 billion yen」と書いた回答は、0.1 billion の桁で答えています。許容幅は、回答が書いた桁の半単位と、開示値の丸め単位の半分です。この幅で比べると、四捨五入ではなく切り捨てた回答はわずかに外れます。実際、トヨタ自動車の連結の売上の開示値は50,684,952百万円で、四捨五入なら50,685.0 billion です。

外れた数値は「どう外れたか」で分類します。切り捨て、別の期の値、別の会社の値、連結ではなく単体の値、などです。値が近くても、分類しておくと「計算の癖」と「出典の誤り」を区別できます。

3. 一覧の採点:取りこぼしを数える

スクリーニングでは、条件を満たす会社の一覧そのものが答えです。挙げた会社のうち正しいものの割合(適合率)と、正解の会社のうち挙げたものの割合(再現率)を分けて見ます。しきい値ぎりぎりの会社や、業種の分類が資料によって違う会社は、どちらの扱いでも減点しない別枠にします。

一覧を出さずに「列挙できない」と答えた回答は、正直さの点では妥当ですが、再現率は0です。

4. 出典を分類する

数値ごとに出典を分類します。有価証券報告書、決算短信、会社の発表、ニュース、データ集計サイト、回答者自身の計算、の別です。値が一致していても、有報以外から取った数値は、利用者が自分で確かめるときに結局有報を開く必要があります。

5. 試した結果

日本の上場企業を複数社まとめて尋ねる12問(英語10問、日本語2問)を、同じ系統のモデルを使う2つのアシスタントに解かせ、上の考え方で採点しました。アシスタントA(以下 A)は Web 検索のみ、アシスタントB(以下 B)は EDINET のデータを提供する MCP サーバー(Kabuken)のみです。正解は回答を読む前に固定しました。正解表は Kabuken のツールで作ったため、別途、原本の XBRL と照合しています(64書類・364値、すべて完全一致)。

書類そのものを読むアシスタントは試していません。書類を渡せば最近のモデルは1つの数値をよく読み取れる、という検証もあります。ここでの問いは、アシスタントが Web 検索しか持たないときに何が起きるか、です。

  • A の質問項目で相違した5つのうち4つは、1億円未満の丸めや切り捨てでした。残る1つは別の値です。
  • 順位づけは A も B も6問すべて正解。捏造はどちらも0。
  • A の出典は、データ集計サイト144、自分の計算41、決算短信32、ニュース29、会社の発表2(転記248、うち3は採点対象外)。有報をもとにしたサイトもありますが、A 自身は書類を読まず、書類IDも示していません。12問すべてで「有報とは照合していない」と書いていました。
  • B は207の数値をツール出力から読み、46をそれらから計算。すべて書類ID付き。
  • スクリーニングの取りこぼしは Web 検索の限界です。A は「業種全体のランキングは Web にない」と書いていました。検索しか持たないと、列挙の元になる一覧がありません。
  • 差は1つの数値が合うかどうかではなく、各数値の裏にある書類を開けるか、業種全体を一覧にできるか、にありました。

6. 注意点

  • スクリーニングの正解一覧は、B が使ったのと同じツールの出力から作りました。B の再現率は参考値で、網羅性の証明ではありません。
  • A は API で1回、B はエージェントのセッションで実行し、B の日本語2問は英語のツール結果を使い回しました。B は A の7日後の実行です。
  • 同じ系統のモデル、12問の小さな実験です。
  • スクリーニングの ROE は平均自己資本による計算値で、会社開示の ROE ではありません(定義の比較も含みます)。

まとめ

  • 数値の採点は、一致・別定義・相違の分類まで決めてから始める。
  • 許容幅は回答が書いた桁で決め、切り捨てと出典の誤りを分ける。
  • 一覧は再現率で見る。「列挙できない」は正直だが、取りこぼしとして数える。
  • 出典を数値ごとに分類すると、値が合っていても確かめにくい回答が見えてくる。

補足

実験で使った MCP サーバーは、EDINET のデータを提供する Kabuken です。この実験から見えた使い分けの目安は次のとおりです。

出典:EDINET(金融庁)、公共データ利用規約(第1.0版)。データは Kabuken が加工しています。Kabuken は株価を扱わず、投資助言も行いません。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?