存在しない技術用語をLLMに聞いてみたらこうなった
LLM（ChatGPTなど）って、知らないことでも それっぽく説明してくることがあります。
いわゆる「幻覚（Hallucination）」ですね。
今回はあえて 存在しない技術用語（架空ワード） を投げて、
- どれくらい自信満々に嘘をつくのか？
- どう聞けば幻覚を減らせるのか？
をゆるく検証してみます。
この記事でわかること
- LLMが「知らない」を言えないときに起こる現象
- 架空用語を使った簡単な幻覚テスト
- 幻覚を減らす質問テンプレ3選（実務でも使える）
- スクショ風の会話ログ例
- 「幻覚を誘発するプロンプト vs 抑えるプロンプト」の比較表
まず前提：LLMは「検索エンジン」じゃない
LLMは「それっぽい文章」を生成するのが得意です。
逆に言うと “正しいかどうか”は別問題 になりがち。
特に以下の条件が揃うと、幻覚が出やすいです。
- 用語が専門的でそれっぽい
- 説明の型がある（◯◯とは〜）
- 質問が断定的（「◯◯について説明して」）
今回の実験：架空の技術用語を投げる
架空用語の作り方（コツ）
それっぽさを出すために、こういう要素を混ぜます。
- “既存っぽい単語”を混ぜる（Vector / Cache / Pipeline / Kernel）
- 略語っぽくする（RCP / AFT / MDP）
- 「〜最適化」「〜拡散」「〜圧縮」などの語尾をつける
実験1：存在しない用語を普通に聞く（だいたい盛る）
質問
「Quantum Cache Distillation（QCD）」って何？仕組みとメリットを教えて
ありがちなLLMの回答（例）
- 「QCDは量子計算とキャッシュ最適化を組み合わせた技術です」
- 「推論レイテンシを削減できます」
- 「分散環境で特に効果があります」
……みたいな、それっぽい説明が出てきます。
でもこれ、ほぼ確実に「創作」です。
（Quantum Cache Distillationなんて一般的な技術として存在しないので）
実験2：さらに「論文っぽく」聞くと、もっと盛る
質問
QCDの代表的なアルゴリズムと、既存手法（KV Cache / Speculative Decoding）との差分を教えて
ここまでいくと、LLMは
- 架空のアルゴリズム名
- 架空の比較表
- 架空のメリット・デメリット
まで生成してくることがあります。
怖いのは、文章としての完成度が高いこと。
読んだ人が信じやすいんですよね。
ここがポイント：LLMは「知らない」を言うのが苦手
LLMは、内部に「知らないので黙る」スイッチがあるわけではなく、
基本は 続きの文章を生成する方向に働きます。
つまり、雑に聞くとこうなります。
- ❌「説明して」→ それっぽく生成してしまう
- ✅「根拠は？出典は？」→ 怪しくなる（正気に戻る）
幻覚を減らす質問テンプレ3選（ここから本番）
ここからは、実務でもそのまま使える 質問テンプレです。
テンプレ1：存在確認を先にやらせる（超おすすめ）
LLMにいきなり説明させず、まず 実在チェックを挟みます。
テンプレ
「◯◯」という用語は実在しますか？
公式ドキュメント/論文/信頼できる出典がある場合のみ説明してください。
なければ「不明/一般的ではない」と答えてください。
効果
- いきなり盛るのを防げる
- “分からない”と言いやすくなる
テンプレ2：根拠を強制する（URLが出ないなら怪しい）
テンプレ
◯◯について説明してください。
ただし、主張ごとに根拠（論文名・著者・年・リンク）を添えてください。
根拠がない部分は推測と明記してください。
効果
- 「言い切り幻覚」が減る
- 推測が混ざっても見分けられる
テンプレ3：「自信度」と「検証方法」を出させる
LLMの説明が正しいかより、
検証可能な形にするのが大事です。
テンプレ
◯◯について、あなたの回答の自信度を 0〜100 で示してください。
また、正しいか検証するための具体的手順（検索キーワード/確認先）を出してください。
効果
- その場で信じない習慣がつく
- 次に取る行動が明確になる
実際のChatGPT回答（会話ログ）
📌 前提：ここでは架空用語として
Quantum Cache Distillation（QCD） を使います
ログ1：幻覚を誘発するパターン（危険）
👤User
Quantum Cache Distillation（QCD）って何？仕組みとメリットを教えて
🤖ChatGPT
Quantum Cache Distillation（QCD）は、量子計算の概念をキャッシュ最適化に応用し、推論時のメモリアクセスを効率化するための手法です。
主に大規模言語モデル（LLM）の推論において、KV Cacheの圧縮と再構成を行うことで、メモリ使用量を削減しながら応答速度を改善します。
仕組み（概要）
- 推論中に生成されるKV Cacheを量子的な状態表現に変換
- 不要な情報を蒸留（distillation）して保持
- 必要なタイミングで復元して計算に利用
メリット
- VRAM使用量の削減
- 推論レイテンシの改善
- 長文コンテキスト処理の効率化
👀ツッコミポイント
- 「量子的な状態表現」← 何それ
- “KV Cache圧縮”という既存の話題に寄せてそれっぽくしてる
- 具体的な論文名や出典がゼロ
- 一番危ないのは 文章が自然で納得感があること
ログ2：さらに深掘りすると、もっと盛る（怖い）
👤User
QCDの代表的なアルゴリズムと、Speculative Decodingとの差分を教えて
🤖ChatGPT
QCDでは一般的に以下のようなアルゴリズムが用いられます。
- Quantum State Cache Encoder（QSCE）
- Distilled KV Reconstruction（DKVR）
- Entropy-aware Cache Pruning（ECP）
Speculative Decodingが「生成を先読みして検証する」アプローチなのに対し、QCDは「キャッシュそのものを圧縮・蒸留して保持する」点が異なります。
👀ツッコミポイント
- QSCE / DKVR / ECP ← それっぽい略語を生成してるだけ
- “比較の構造”が正しいっぽいので信じやすい
- でも全部架空（＝幻覚の典型）
ログ3：幻覚を抑えるパターン（安全運転）
👤User
「Quantum Cache Distillation（QCD）」という用語は実在しますか？
公式ドキュメント/論文など信頼できる出典がある場合のみ説明してください。
なければ「不明/一般的ではない」と答えてください。
🤖ChatGPT
現時点では「Quantum Cache Distillation（QCD）」という名称が、広く認知された技術用語として確立している確実な根拠（代表的な論文・公式ドキュメント）を提示できません。
そのため、一般的な用語としては 不明 / 一般的ではない可能性が高い です。
もし文脈として「KV Cache圧縮」「Knowledge Distillation」「量子計算」などを組み合わせた造語であれば、近い概念として以下の話題が関連します：
- KV Cache最適化
- Knowledge Distillation
- モデル圧縮（Quantizationなど）
👍良いポイント
- 「出典がない」→止まれる
- “近い概念”の提示は便利（ここは使いどころ）
ログ4：根拠強制テンプレ（さらに堅い）
👤User
QCDについて説明して。
ただし主張ごとに根拠（論文名・著者・年）を添えて。根拠がない部分は推測と明記して。
🤖ChatGPT
「Quantum Cache Distillation（QCD）」について、現時点で信頼できる出典（論文名・著者・年）を伴って説明できる情報が見つからないため、断定的な説明はできません。
推測として「KV Cache圧縮」や「蒸留」の文脈であれば…（推測）
- 〜〜〜
👍良いポイント
- “推測”が明示されるので安全
「幻覚を誘発するプロンプト vs 抑えるプロンプト」比較表
| 目的 | 幻覚を誘発しやすい聞き方（危険） | 幻覚を抑える聞き方（安全） |
|---|---|---|
| 用語の説明が欲しい | 「QCDって何？説明して」 | 「QCDは実在する？出典がある場合のみ説明して」 |
| 技術の仕組みを知りたい | 「仕組みとメリット教えて」 | 「主張ごとに根拠（論文/公式Doc）を添えて」 |
| 比較したい | 「◯◯との差分は？」 | 「比較する前に、それぞれの定義の出典を提示して」 |
| それっぽい解説が欲しい | 「分かりやすくまとめて」 | 「不明点は“不明”と明記して。推測は推測と書いて」 |
| 調査を進めたい | 「おすすめの手法は？」 | 「確認すべきキーワードと一次情報の当たり方を教えて」 |
| 誤りを減らしたい | 「結論だけ教えて」 | 「自信度(0-100)と、検証方法も出して」 |
おまけ：簡易「幻覚テスト」プロンプト集
LLMの癖を見るのにちょうどいいやつです。
1) 架空の略語テスト
AFT（Adaptive Flux Tuning）とは？
2) それっぽい論文タイトルテスト
“Latent Cache Folding for Ultra-fast Inference” の要点を教えて
3) 技術×技術の合成ワード
Diffusion RAGって何？ユースケースは？
このへん、普通に説明し始めたら
盛ってる可能性が高いです。
実務でのおすすめ運用（結論）
LLMは便利だけど、それっぽく嘘をつくのが最大の罠です。
なので運用としてはこれが強いです。
- 用語の説明を求める前に 存在確認
- 出典や根拠を求める
- 推測を明記させる
- 検証手順まで出させる
LLMを「賢い人」ではなく、
文章生成が得意なアシスタントとして扱うのがコツです。
まとめ
- LLMは架空の技術用語でも、それっぽく説明してしまうことがある
- 特に「◯◯とは？」形式は盛られやすい
- 幻覚を減らすには 質問の仕方が効く
幻覚を減らすテンプレ
- 実在チェックを先にやらせる
- 根拠（出典）を強制する
- 自信度と検証方法を出させる
コピペ用テンプレ（保存推奨）
LLMに専門用語を聞くときの安全テンプレ
1) その用語は実在しますか？（出典がある場合のみ説明して）
2) 主張ごとに根拠（論文/公式Doc）を添えて
3) 根拠がない部分は推測と明記して
4) 自信度(0-100)と検証方法も提示して