Hacker News で「Using LLM for confidence scoring is a bad idea」という記事が198ポイントを集めていました（2026-10-23 時点）。LLM が書く確信度は、正しさと照らして訓練されていない、という主張です。
It was never scored on whether the confidence that it writes matches how often it is correct.
同じ質問でも「0.85」のときと「0.7」のときがある、とも書かれています。ただ、記事に実験はありません。
手元に、Claude Haiku 5.5 に306問を解かせて確率を書かせた記録（2026-10-08 測定）があります。同じ306問をもう2回聞いて、確率がどれだけぶれるかを測りました。
Haiku 5.5 に、ニュースの見出しが9つのサイトのどれに載ったかを選ばせ、
選択肢ごとの確率を書かせた（306問×3回）
1回目(10/8) 2回目(10/23) 3回目(10/23)
正解率 60.8% 61.1% 60.5%
0.8以上と書いた問題 122問 116問 119問
その正解率 83.6% 80.2% 81.5%
同じ問題の確率の幅（3回の最大−最小） 中央 0.10、0.2以上ぶれた問題 15%
選ぶ答えが変わった問題 57問（19%）
検証環境: Windows 10 / Claude Code 2.1.293 の
claude -p --model haiku（ツールなし）/ Claude Haiku 5.5 / Max プラン /
1回目 2026-10-08、2・3回目 2026-10-23
測り方
データは livedoor ニュースコーパス（2012年に集められた記事）です。9つのサイトから見出しを34本ずつ選んでいます。
1回目と同じ台本・同じ版の Claude Code で、同じ306問を聞き直しました。
聞き方は「各選択肢である確率を0から1で答え、合計を1にしてください」で、JSON だけを返させます。
確信度は、選んだ答え（一番高い確率の選択肢）の確率としています。
1問ずつ見ると、0.1前後ぶれる
同じ問題で、3回の確率の幅は中央で0.10でした。0.2以上ぶれた問題が15%、0.3以上が3%です。
| 見出しの正解 | 1回目 | 2回目 | 3回目 |
|---|---|---|---|
| smax | smax 0.81 | smax 0.45 | it-life-hack 0.40 |
| it-life-hack | topic-news 0.57 | topic-news 0.43 | topic-news 0.81 |
上の問題は、0.81 から 0.45 に下がり、3回目は答えも変わりました。下の問題は3回ともはずれで、1回だけ 0.81 と書いています。
0.8 の線をまたいだ問題（ある回は0.8以上、別の回は0.8未満）は63問、21%でした。 「0.8以上なら自動で決める」と決めていても、5問に1問は、聞くたびに自動と人の確認が入れ替わります。
1回目と2・3回目の間は2週間空いていますが、同じ日の2・3回目どうしでも差は同じくらいでした（平均の差 0.09）。時間がたってずれたのではなく、呼ぶたびにぶれています。
まとめて見ると、毎回ほぼ同じだけ当たる
1問ずつはぶれても、0.8以上と書いた問題の正解率は 83.6%・80.2%・81.5% で、3回ともそろっていました。
確信度と正解率のずれ（4つの帯で計算した ECE）も 0.072・0.059・0.068 です。
上のほうは特に安定していました。1回目に0.9以上と書いた37問は、2・3回目も中央 0.90 で、0.8 を下回ったのは74回中2回だけです。
「3回聞いて一致したら信じる」は弱かった
元の記事は、確信度の代わりに「繰り返して一致するか」を見るよう勧めています。試しました。
| 3回の答え | 問題数 | 多数決の正解率 |
|---|---|---|
| 3回とも同じ | 249（81%） | 66.3% |
| 2回同じ | 55（18%） | 40.0% |
3回一致しても正解率は 66.3% で、全体（約61%）とあまり変わりません。 はずれる答えを、毎回同じようにはずしていました。
同じ101問（33%）を自動で決める場合で比べると、1回目の確率の高い順なら 84.2%、3回の確率の平均の高い順なら 86.1% です。3倍の費用で約2ポイントでした。
言えないこと
- 題材は1種類（2012年の日本語の見出しの9択）、モデルは Haiku 5.5 だけ、各3回です
- 確率を全部の選択肢に配らせる聞き方です。「何%自信がありますか」と1つだけ聞く場合は測っていません
- よく使われるコーパスなので、学習に含まれていた可能性があります
- 費用は3回分で約 $0.40（API 換算）でした
まとめ
- 同じ問題でも、書く確率は呼ぶたびに0.1前後ぶれる。 答えが変わった問題は19%
- それでも、0.8以上と書いた問題は毎回8割強当たった。 束として見る数字としては使えた
- 「3回一致なら信じる」は、この題材では確率より弱かった
- 0.8 の線をまたぐ問題が21%あるので、1問の数字だけで決めると、同じ問題の扱いが日によって変わる
元の記事の「記録を取って、確信度ごとに実際どれだけ当たったかを確かめる」という勧めは、そのとおりだと思います。今回の結果は、確かめてみたら、この題材では束としては当たっていた、ということです。
関連記事
- Jev 互換の判断AI「Clef」と Haiku 5.5 に同じ分類を306問。Clef が自信を持った13%は95%当たった — 1回目の測定
- Claude Code の Explore を Haiku にする設定は、2.1.293 に上げるだけで Haiku 5.5 になった。費用は34〜43%減 — Haiku 5.5 の費用の回
JQITのエンジニアの95%以上は未経験からの採用です。
よければコーポレートサイトにも遊びに来てください。
エンジニア採用も行っています。もしご興味あれば覗いてみてください。
▶ 採用サイト