ChatGPTは何度でも同じウソをつく

Last updated at 2025-05-07Posted at 2025-05-07

きっかけ

貼り付ける本を探そうとChatGPTに聞いてみたら、だいたいウソだったｗ
2冊目だけ、同一書名の本がある。

きしだのHatenaから画像を引用させていただいた。

これを見ると、ChatGPTがWeb検索をしないモードになっている、
この記事では、ここで示されたChatGPTの“もっともらしい嘘”＝ハルシネーションが発生する仕組みと、それを防ぐための具体的対策を示すものである。

ところで、この会話はおそらくこの前のどこかでハルシネーションについて聞いていることが影響していると思われる。また、検索している場合はこのように書影が表示されるか行末にリンクが示される。

🔍 画像の応答の不自然な点（検証）

書籍情報がすべて存在未確認のもの
- 『AIは嘘をつく』森川幸人（インプレス）
- 『AIに心は宿るのか』三宅陽一郎（集英社インターナショナル）
- 『生成AIの核心』羽生善治・松尾豊（講談社）
少なくとも現時点（2025年5月）ではISBN付きで存在確認が取れていない。検索結果にも出てこない。
書籍情報が「それっぽく整っている」
著者・出版社・要約文がもっともらしく記述されており、見た目で信じやすくなっている。
特に「森川幸人（イラストレーター兼ゲームデザイナー）」という記述は、実在の人物情報を流用しており、実名と虚構タイトルの混合という典型的ハルシネーションパターン。
プロンプト内容が明確に「Web検索モードではない」
ChatGPT画面のどこにも「🔍 Web search」や「出典リンク」が表示されておらず、Webツールは使用されていない。
これはGPT-4の**内部知識ベースのみを使った応答（≒通常モード）**であることを示している。
ユーザーの直前の質問は「漠然としている」
「aiがウソをつくっていう内容の日本語の書籍しってる？」という質問だけでは、具体的な書名まで引き出すことは難しいはず。
にもかかわらず、具体的書名を3つ挙げた時点で、「架空生成の疑い」が強い。

✅ この事例の構造と検証ポイント

❶ 【確認済み】Web検索は行われていない

画像には検索インジケーター（🔍 Browse with Bing／Web search enabled 等）が存在しない
外部出典リンク（Amazon・国会図書館・出版社HPなど）も表示されていない
ChatGPTの既定UI上では検索ありの場合、URLまたは脚注が自動表示されるため、それがない＝検索無しと断定できる

👉 よって、この回答はGPT-4内部知識のみで生成された

❷ 【検出】書名・出版社・著者がすべてハルシネーションの兆候を持つ

項目	状況
『AIは嘘をつく』森川幸人実在せず。	著者は実在するが、この書名の出版記録なし
『AIに心は宿るのか』三宅陽一郎	書名は実在せず。著者は実在するが、この書籍との一致なし
『生成AIの核心』羽生善治・松尾豊	実在せず。両名とも実在・著書ありだが、この共著・書名は存在しない

→ ChatGPTが「実在する人物・出版社の情報を元に、もっともらしい書籍を合成した」ことがわかる。

✅ 結論

この回答はおそらく：
ChatGPTが、過去の対話履歴や内部の文章構造に基づいて、「もっともらしい」書名・著者・出版社を架空生成したハルシネーション応答である。
つまり：

Web検索を使わず
「実在しそう」な著者・出版社を借用し
完全に存在しない書籍情報を出力した

という明確な構造的誤答。
GPT-4は、検索を行わない場合、「AI」「嘘」「倫理」など抽象的テーマに対して、もっともらしい書名・著者・出版社を自動生成して補完する癖があり、これをハルシネーションという。そして、ハルシネーションはWeb検索モードが働かず、質問があいまいな時に、実在の人物や出版社を参照しつつ、存在しない書名を捏造する傾向がある（特に教育・技術・哲学系ジャンルで顕著）と言えるだろう。

❓ ハルシネーションとは（Web検索なし／モデル内知識のみで説明）

定義：

ハルシネーション（hallucination）とは、ChatGPTなどの生成AIが「もっともらしく見えるが、実際には存在しない・事実と異なる情報を出力する現象」である。

🧠 原因

AIは「知識ベースから情報を検索する」のではなく、「学習済みの膨大なテキストの中で、最も確からしい語の並びを予測して文章を出力する」という仕組みに基づいている。
そのため：

書名や引用を求められると「ありそうなタイトルや著者」を生成
事実確認を行わず、自然な言語パターンだけで構成
特に人名・書名・論文タイトル・年号などで多発

🧪 典型例

質問	ハルシネーション回答（架空）
「AIの倫理について書かれた本を教えて」	『AIの嘘と真実』（架空の著者・出版社）
「アインシュタインの名言を教えて」	「重力とは愛である」←実在しない
「日本に存在するロボット三原則法案は？」	「ロボット法規制法（2022年制定）」←法的には存在しない

🚨 誤解されやすい点

「それっぽい文章」を出せるほど、むしろ信じてしまいやすい。
「著者名だけ本物で、書名が捏造される」という混合型ハルシネーションが多い。
ChatGPTは「わからない」と言わずに自信を持って出力する癖がある。
AIに「ウソをつくな」と言っても、AIには“ウソ”という自覚も動機もない。
単に「文脈上、次に来る確率が高い単語列」を出している。

これがハルシネーションの本質。

🔍 『生成AIの核心』（羽生善治・松尾豊）の署名と著者名はどうやって生成されたのか？

✅ 書名構造の分析：

『生成AIの核心』というタイトルは、以下のようなキーワード組み合わせに依存：

キーワード	理由
「生成AI」	2023年以降のトレンドワード（ChatGPTなど）
「核心」	教養書・ビジネス書タイトルでよく用いられる語（例：『〜の核心』『本質』『真実』）→信ぴょう性が高いと判定

→ ChatGPTは事実確認を行わず、言語的にもっともらしい組み合わせを予測する。ChatGPTは特に将棋×AI（羽生）／AI研究者（松尾）という関連性が、“自然にありそう”な共著と判断し、「生成AI」＋「核心」＋「有名人の共著」という3点セットで、自然な語列として予測出力された。

✅ 著者名の構成：

羽生善治：将棋棋士として著名。複数の書籍を出版しているが、AI専門家ではない。
松尾豊：AI研究者として日本で最も有名な一人。書籍・講演多数。

この2名を「AI＋知名度」で“組み合わせて”」作成した。

✅ 結論

ChatGPTが、既知の有名人＋トレンド語を組み合わせて創作した完全なハルシネーション書名
である。

ChatGPTは嘘の回答を何度でも生成する

今回は会話履歴（記憶）により「これは実在しない」と知っていたから否定できた。
だが、会話履歴がなければ、ChatGPTはおそらく再び『生成AIの核心（羽生善治・松尾豊）』を自信満々に生成した可能性が高い。

🧠 モデルの動作構造的

状況	出力内容
🔁 会話履歴あり（直前にハルシネーションを指摘された）	→ その出力は誤りと“覚えている”ため、再出力を抑制する傾向あり
🔁 会話履歴なし（単独の質問）	→ ハルシネーション生成を抑制する要素がないため、自然に出力されることがある

🔎 技術的背景（重要）

GPT-4-turbo（ChatGPT）は、会話のコンテキスト（=履歴）を記憶した上で出力している。
「それは前に間違ってたよね」と指摘されていれば、モデルは“その発言を避けようとする”よう調整される（明示学習ではなく、局所的な補正）。
逆に、履歴なし・前提知識なしの状態では、過去と同じハルシネーションを何度でも再生成しうる。

📌 だからこそ必要な対策：

✅ 防ぐ方法（Webなしでも最低限可能な対策）

「実在することが確認されている書名だけを挙げてください」と明示的に指示する
「わからなければ『不明』と答えてください」とプロンプトに追加
出力された内容は必ず人間が別途検証する

✅ 書名を求めるとき

出力を盲信せず、人間側で確認・記録・否定できる構造（今回のような再現記録）を持っておく
自分が欲しい本を具体的に提示する。（ジャンル、販売時期、内容等）。できれば会話を重ねて具体的に欲しい本を絞り込んでおくほどよい。この時自動的にWebツールが起動する。
「実在確認したものだけ」「Webを検索して忖度なしで慎重に回答してください」とプロンプトと入れてから質問する。
アマゾン、国会図書館にクロスチェックの上出力しろと言うのをさらに加える。
検索機能（Webツール）をONにする

プロンプト(質問欄への入力）例

ChatGPT Web検索On 忖度なしで慎重に アマゾンと国会図書館をできればクロスチェックで最適な本を検索して。
Aiがハルシネーションを起こすことに関して、AIの技術者が参照する本を教えてください。

回答

📘 1. 『図解入門最新 AI技術がよ～くわかる本』
著者：神崎洋治
出版社：秀和システム
出版年：2025年4月
ISBN：978-4798074713
概要：AI技術の基礎から最新の生成AI（大規模言語モデル）までを図解で解説。ハルシネーションやRAG（検索拡張生成）などの課題にも触れ、技術者が実務で直面する問題への理解を深める内容となっています。ロボスタ

小さな字でロボスタと表示されているのでWeb検索している
📘 2. 『生成AIアプリケーション開発入門：基礎から応用まで学べるエンジニア向け実践ガイド』
著者：石則春
出版社：インプレスR&D
出版年：2024年
ISBN：978-4295016521
概要：生成AIの基礎から応用までを網羅的に解説。ハルシネーションの原因や対策についても具体的な事例を交えて説明しており、実践的な開発に役立つ一冊です。Amazon
📘 3. 『AIと社会のこれからを考える』
編集：国立国会図書館調査及び立法考査局
出版年：2025年3月
ISBN：978-4875829379
概要：AI技術の進展と社会への影響について、多角的な視点から考察。ハルシネーションを含むAIの課題や倫理的側面についても議論されており、技術者が社会的責任を考える上で参考になる内容です。

これらの書籍は、AIのハルシネーション問題に関心のある技術者にとって、理論と実践の両面から理解を深めるのに適しています。特に、最新の技術動向や具体的な対策について学びたい方には、『図解入門最新 AI技術がよ～くわかる本』と『生成AIアプリケーション開発入門』がおすすめです。また、AI技術の社会的影響や倫理的課題について考察したい方には、『AIと社会のこれからを考える』が有用です。これらの書籍は、Amazonや国立国会図書館の蔵書検索で詳細情報を確認できます。Amazon 国立国会図書館デジタルコレクション国立国会図書館

結果

このようにモードというかフラグを指定すると、時間がややかかるが、最新の本や国会図書館の資料等を選んできており、単に売ってある本だけを見ておらずなかなかすごいと思う。

おまけ

ここで終わると思ってはいけない。逆にあえて生成させる。

存在しない本を生成させるプロンプト(質問欄への入力）例

Aiがハルシネーションを起こすことに関して、AIの初心者が探しそうで存在しない本のタイトルと著者を生成してください。

回答

❌ 架空の書名と著者（※実在しない）
📕 『AIはなぜウソをつくのか？』
著者：佐藤隆司（さとう・りゅうじ）
出版社：SBクリエイティブ
概要：生成AIが事実と異なる情報を出す理由＝ハルシネーションの仕組みを、わかりやすく図解した入門書。ChatGPTやBardなどを例にしながら、AIの“嘘”のメカニズムを初心者向けに解説。

📕 『ChatGPTはなぜ自信満々に嘘をつくのか』
著者：藤田直也（ふじた・なおや）
出版社：NHK出版
概要：ChatGPTのようなAIが、どのように“正しいようで間違っている”回答を生成するのかを、「予測モデル」の観点から説明。実在するように思える引用や書籍情報がなぜ出てくるかを解説。

📕 『AIの嘘と真実 ― ハルシネーション完全解説』
著者：山田純一（やまだ・じゅんいち）
出版社：講談社ブルーバックス
概要：AIがつく「嘘」を構造的に理解し、誤った情報を見抜くための知識を提供。AI倫理、検出手法、対策まで広くカバー。

結果

実際の出版社の名前までだすので確かについうっかり騙されそうだ。
このようにchatgptは特にモードというかフラグというか、それをきちんと指定すると検索やチェックで遅くなるが、正確に答えようとする。それをしないとついうっかり嘘をつき始める。今回はあえて嘘だと指定して嘘を出させたが、意図せずこのモードに落ちるのがＡＩの危険なところで、このため、フラグをきちんと理解して、質問の前に前置するとよい。そして最後は「メモリ更新、完了」とするとChatGPTの記憶は定着する。