TL;DR
- LLM に財務データを語らせるなら、根拠の事実を「概念名+コンテキスト+書類+値」で引用させると、機械的に照合できます。
- 照合に耐える入力(エビデンスパック)を先に整え、モデルに渡した最終形を保存しておきます。
- 採点は「引用が出典の行に一致するか」「引用のない数値がどれだけ残るか」「方向性テスト(判定基準は実行前に固定)」の3本柱です。
- シミュレーション上の投資家ペルソナの実験で使った考え方のメモです。投資判断の話ではありません。
1. 出力スキーマ:事実は「概念名+コンテキスト」で引用させる
ペルソナには JSON で答えさせます。要点は claims の配列です。回答が持つのは次の4つです。action(保有、買い増し、一部売却、全売却、反応なしのいずれか1つ)、claims[](根拠にした事実ごとに概念名、コンテキスト、書類、値)、理由の自由記述、確信度。
XBRL では同じ概念名でも期間や連結・単体で値が違うため、概念名だけでは行を特定できません。コンテキストまで書かせるのはそのためです。
2. 入力側の準備:照合できる形に整える
モデルに渡すデータは、後から照合できる形に整えます。1指標につき1概念、1期間につき1行に絞り、すべての行に会計年度のラベルを付け、重複チェックを通し、レンダリング後の最終形を保存します。
最後の保存が特に重要です。モデルが実際に見たものを残しておけば、結果を後から検証し直せます。例えば、第1実験で注記欄の1つが文字化けした形で渡っていたことが後から分かり、以降の実験で修正しました。最終形を保存していたので、第1実験で何を見せたかは今も確認できます。
3. 採点:3本柱+2つの補助指標
採点は、機械的に判定できるものを中心にします。
方向性テストで期待する結果(誰がどちらに動くはずか、何人動けば成功か)は、実行前に書いて判定基準として固定します。結果を見てから判定基準を動かさないためです。
4. 結果の要点
- どちらの Claude モデル(Claude Haiku 4.5、Claude Sonnet、ともに拡張思考あり)でも、引用された事実のほぼすべてが出典の行に一致しました。
- Claude Sonnet は理由の中の数値もほぼすべて引用し、Claude Haiku は引用のない数値が多く残りました。
- 小規模な試行で試した Gemma 4 26B は、2つの Claude モデルより引用が不安定でした。
- 事前に固定した方向性テストは、Claude Haiku 4.5 では満たされず、同じ400セル(ペルソナと条件の組み合わせ)の Claude Sonnet では満たされました。差の多くは、変更前の段階の読み方の違いです。
5. 注意点
- シミュレーション上のペルソナであり、実際の投資家でも、予測でも、助言でもありません。
- 大手5社のみ、強い人工的な変更のみ、第2実験の繰り返しは2回のみで、サンプリング設定も制御していません。
- 匿名化は社名と証券コードを除くのみで、数値の規模は残ります。
6. 複数人・複数回の利用に向けて(検討中)
同じ書類をチームで読み、各自の読み方を並べて比べる使い方の可能性を探っています。実現した場合に、スキーマと採点で見直したい点を挙げます。決まった仕様ではなく、時期の約束もなく、現時点の Kabuken の機能でもありません。
-
スキーマ:回答に「誰の読みか」と「何回目の実行か」を示す項目が必要になりそうです。今の
claims[](概念名、コンテキスト、書類、値)は、そのまま共通の比較単位にできます。 - 採点:引用の一致は回答ごとに判定できるので、そのまま使えます。新しく必要なのは、同じ書類について複数の読みを並べ、引用した事実がどこで重なり、どこで分かれるかを見る比較の観点です。
- 繰り返し:複数回の実行は独立したサンプルとして扱い、見かけの件数を実質のサンプル数と混同しない。これは今回の実験の限界と同じ考え方です。
まとめ
- 引用は「概念名+コンテキスト+書類+値」。概念名だけでは XBRL の行は特定できない。
- 入力は照合できる形に整え、モデルに渡した最終形を保存する。
- 採点は、引用の一致、引用のない数値、事前に固定した方向性テストの3本柱。
補足
エビデンスパックは、EDINET のデータを提供する Kabuken の公開 MCP サーバーから取得しました。
- 実験の全文(方法、結果、限界):https://labs.intellics.ai/2611-crowd-lab/ja/?utm_source=qiita&utm_medium=referral&utm_campaign=2026-11-11-crowd-lab&utm_content=lab_link
- ブログ原文(結果を中心に書いた記事):https://intellics.ai/ja-JP/blog/post/26?utm_source=qiita&utm_medium=referral&utm_campaign=2026-11-11-crowd-lab&utm_content=blog_link
- Kabuken:https://kabuken.intellics.ai/?utm_source=qiita&utm_medium=referral&utm_campaign=2026-11-11-crowd-lab&utm_content=kabuken_home
出典:EDINET(金融庁)、公共データ利用規約(第1.0版)。データは Kabuken が加工しています。Kabuken は株価を扱わず、投資助言も行いません。