0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

LLM の回答を「出典の行」に突き合わせる:引用スキーマと採点の考え方

0
Posted at

TL;DR

  • LLM に財務データを語らせるなら、根拠の事実を「概念名+コンテキスト+書類+値」で引用させると、機械的に照合できます。
  • 照合に耐える入力(エビデンスパック)を先に整え、モデルに渡した最終形を保存しておきます。
  • 採点は「引用が出典の行に一致するか」「引用のない数値がどれだけ残るか」「方向性テスト(判定基準は実行前に固定)」の3本柱です。
  • シミュレーション上の投資家ペルソナの実験で使った考え方のメモです。投資判断の話ではありません。

1. 出力スキーマ:事実は「概念名+コンテキスト」で引用させる

ペルソナには JSON で答えさせます。要点は claims の配列です。回答が持つのは次の4つです。action(保有、買い増し、一部売却、全売却、反応なしのいずれか1つ)、claims[](根拠にした事実ごとに概念名、コンテキスト、書類、値)、理由の自由記述、確信度。

XBRL では同じ概念名でも期間や連結・単体で値が違うため、概念名だけでは行を特定できません。コンテキストまで書かせるのはそのためです。

2. 入力側の準備:照合できる形に整える

モデルに渡すデータは、後から照合できる形に整えます。1指標につき1概念、1期間につき1行に絞り、すべての行に会計年度のラベルを付け、重複チェックを通し、レンダリング後の最終形を保存します。

最後の保存が特に重要です。モデルが実際に見たものを残しておけば、結果を後から検証し直せます。例えば、第1実験で注記欄の1つが文字化けした形で渡っていたことが後から分かり、以降の実験で修正しました。最終形を保存していたので、第1実験で何を見せたかは今も確認できます。

3. 採点:3本柱+2つの補助指標

採点は、機械的に判定できるものを中心にします。

方向性テストで期待する結果(誰がどちらに動くはずか、何人動けば成功か)は、実行前に書いて判定基準として固定します。結果を見てから判定基準を動かさないためです。

4. 結果の要点

  • どちらの Claude モデル(Claude Haiku 4.5、Claude Sonnet、ともに拡張思考あり)でも、引用された事実のほぼすべてが出典の行に一致しました。
  • Claude Sonnet は理由の中の数値もほぼすべて引用し、Claude Haiku は引用のない数値が多く残りました。
  • 小規模な試行で試した Gemma 4 26B は、2つの Claude モデルより引用が不安定でした。
  • 事前に固定した方向性テストは、Claude Haiku 4.5 では満たされず、同じ400セル(ペルソナと条件の組み合わせ)の Claude Sonnet では満たされました。差の多くは、変更前の段階の読み方の違いです。

5. 注意点

  • シミュレーション上のペルソナであり、実際の投資家でも、予測でも、助言でもありません。
  • 大手5社のみ、強い人工的な変更のみ、第2実験の繰り返しは2回のみで、サンプリング設定も制御していません。
  • 匿名化は社名と証券コードを除くのみで、数値の規模は残ります。

6. 複数人・複数回の利用に向けて(検討中)

同じ書類をチームで読み、各自の読み方を並べて比べる使い方の可能性を探っています。実現した場合に、スキーマと採点で見直したい点を挙げます。決まった仕様ではなく、時期の約束もなく、現時点の Kabuken の機能でもありません。

  • スキーマ:回答に「誰の読みか」と「何回目の実行か」を示す項目が必要になりそうです。今の claims[](概念名、コンテキスト、書類、値)は、そのまま共通の比較単位にできます。
  • 採点:引用の一致は回答ごとに判定できるので、そのまま使えます。新しく必要なのは、同じ書類について複数の読みを並べ、引用した事実がどこで重なり、どこで分かれるかを見る比較の観点です。
  • 繰り返し:複数回の実行は独立したサンプルとして扱い、見かけの件数を実質のサンプル数と混同しない。これは今回の実験の限界と同じ考え方です。

まとめ

  • 引用は「概念名+コンテキスト+書類+値」。概念名だけでは XBRL の行は特定できない。
  • 入力は照合できる形に整え、モデルに渡した最終形を保存する。
  • 採点は、引用の一致、引用のない数値、事前に固定した方向性テストの3本柱。

補足

エビデンスパックは、EDINET のデータを提供する Kabuken の公開 MCP サーバーから取得しました。

出典:EDINET(金融庁)、公共データ利用規約(第1.0版)。データは Kabuken が加工しています。Kabuken は株価を扱わず、投資助言も行いません。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?