はじめに
要約は便利ですが、「要約の要約」を繰り返すとどうなるのでしょうか。
人から人へ伝言を繰り返すと内容が歪んでいく「伝言ゲーム」のように、AIによる要約にも同じことが起きるのではないか、と考えました。
そこで今回は、Claude（Sonnet 4.6）とGPT（GPT-5.5）に同じ文章を5回連続で要約させ、元の文章からどれくらい変化するのかを比較してみました。素材はジャンルを変えて2種類用意し、ニュース記事と小説で崩壊の仕方に違いが出るのかも見ていきます。
実験設計
- 使用モデル：Claude Sonnet 4.6 / GPT-5.5
-
素材：
- ニュース：デジタルアーツ株式会社のセキュリティレポートのまとめ部分（出典：digitalpr.jp）
- 小説：夏目漱石「吾輩は猫である」冒頭（出典：青空文庫 ）
- 要約回数：5回（前回の出力を次の入力として使う）
- プロンプト：両モデルで同一の指示文を使用（「以下の文章を要約してください」）
元の文章
ニュース（元文章）
今回の調査では、国内950組織に実際に届いた受信メール約3億8,300万通を分析した結果、受信メールの25％が悪性メールであり、その90％をフィッシングメールが占めていました。
前回調査と比較すると悪性メールの割合は低下したものの、依然として受信メールの4通に1通が悪性メールであり、多くの脅威が企業・団体に届いています。
今回特に目立ったのは、証券会社を装うフィッシングメールの増加と、決済アプリ（PayPay）送金詐欺に関連するメールの増加です。PhaaSや生成AIの悪用により、攻撃者は社会的な動きや利用者行動に合わせた攻撃を短期間で展開しやすくなっています。
一方で、企業・団体が注意すべき脅威はフィッシングメールだけではありません。サポート詐欺への誘導、CEO詐欺（ニセ社長詐欺）、マルウェア感染を目的としたメールなども継続的に観測されています。
企業・団体では、過去に多かったブランドや手口だけを警戒するのではなく、社会的な動きや利用者行動に合わせて変化する攻撃を前提に、フィッシングに限らずメールセキュリティ対策と従業員への注意喚起を継続することが重要です。（出典：デジタルアーツ株式会社「【セキュリティレポート】セキュリティ強化の動きを逆手に取る 証券会社を装うフィッシングが急増」 https://digitalpr.jp/r/137740 ）
小説（元文章）
吾輩は猫である。名前はまだ無い。
どこで生れたかとんと見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。吾輩はここで始めて人間というものを見た。しかもあとで聞くとそれは書生という人間中で一番獰悪な種族であったそうだ。この書生というのは時々我々を捕えて煮て食うという話である。しかしその当時は何という考もなかったから別段恐しいとも思わなかった。ただ彼の掌に載せられてスーと持ち上げられた時何だかフワフワした感じがあったばかりである。掌の上で少し落ちついて書生の顔を見たのがいわゆる人間というものの見始であろう。この時妙なものだと思った感じが今でも残っている。第一毛をもって装飾されべきはずの顔がつるつるしてまるで薬缶だ。その後猫にもだいぶ逢ったがこんな片輪には一度も出会わした事がない。のみならず顔の真中があまりに突起している。そうしてその穴の中から時々ぷうぷうと煙を吹く。どうも咽せぽくて実に弱った。これが人間の飲む煙草というものである事はようやくこの頃知った。（出典：青空文庫 夏目漱石「吾輩は猫である」 https://www.aozora.gr.jp/cards/000148/files/789_14547.html ）
結果①：文字数の推移
要約を重ねるごとに文字数がどう変化したかをグラフにまとめました。
ここから読み取れることとして、
- どのモデル・ジャンルが最も早く文字数が収束したか
- 文字数が急に減った（＝大きく内容が削られた）タイミングはどこか
といった傾向を考察します。
結果②：質的な変化が起きた回をピックアップ
グラフを見て、文字数やトーンが大きく変わった回をキャプチャで紹介します。
5回目でClaudeはメタ発言が出た回・要約を拒否した回
メタ発言が出た回
要約を拒否した回
4回目でGPTは「背景情報」が静かに消した
ニュース3回目
ニュース4回目
考察
ニュース vs 小説：情報の「圧縮限界」の違い
文字数の推移を見ると、ニュースの方が小説よりも明らかに圧縮されにくいことがわかります。これは、ニュース文には数字（25%、90%、8.5%など）や固有名詞（PhaaS、CEO詐欺、PayPayなど）といった「削ると意味が崩れる情報」が多く含まれているためだと考えられます。一方、小説の文章は情景描写や心情表現が多く、ストーリーの骨格だけを抜き出せば極限まで圧縮できてしまいます。実際、GPTは小説を1回要約しただけで84字まで、5回目には6字まで圧縮しており、これはもはや「タグ付け」のような状態に近づいています。
Claude vs GPT：何を残し、何を削るかの優先順位の違い
文字数だけ見るとGPTの方が大胆に圧縮しているように見えますが、出力内容を細かく見ていくと、両モデルの「削り方の優先順位」がまったく違うことがわかります。
GPTは文字数そのものを縮めることを優先する傾向が強く、固有名詞や数字も含めて全体を均等に圧縮していく印象でした。結果として5回目には6字まで圧縮され、もとの文章が何を伝えていたのかほとんど読み取れない状態になります。さらにニュースの3〜4回目では、文字数自体はさほど減っていないにもかかわらず、「生成AIを悪用した巧妙な攻撃」「変化する脅威に対応するため」といった因果関係や背景の説明がそっくり消え、「現状」と「対策が必要」という結論だけが残る、という変化も見られました。これは文字数のグラフだけでは見抜けない、質的な劣化の典型例です。
一方Claudeは、専門用語や固有名詞（PhaaS、CEO詐欺、証券会社を装うフィッシングなど）をギリギリまで残し、まず削るのは補足的な説明や言い換え、文章としての修飾部分でした。つまりClaudeは「情報量」を優先し、GPTは「文字数」を優先しているとも言えます。この違いが、ニュースの文字数推移グラフでClaudeの減少が緩やかに見える理由の一つだと考えられます。
この傾向は、Claudeが5回目で「これ以上要約すると情報が失われる」と判断して要約自体を止めた挙動（小説）や、要約と共に「用途に応じて切り口を変えられます」と補足を加えた挙動（ニュース）とも一貫しています。Claudeにとって要約とは「文字数を削ること」ではなく「核となる情報を保持すること」が優先順位として上にあるのかもしれません。
残りやすい情報・消えやすい情報
両モデル・両ジャンルに共通して言えるのは、
- 数字や固有名詞は比較的最後まで残りやすい（特にニュース・Claudeで顕著）
- 情景描写・心情表現・修飾語は最初の1〜2回で大きく削られる
- 因果関係や背景説明（なぜそうなったか）は、文字数がさほど減らない段階でも先に消える
- 5回も重ねると、文章は「要約」ではなく「キーワードの羅列」に近づいていく
という傾向です。情報の核（誰が・何をしたか）は残るものの、「なぜそうなったか」という文脈や、文章としての読みやすさは早い段階で失われていくことがわかりました。
まとめ
今回の実験から、AIによる要約を繰り返すと、ジャンルやモデルによって異なる速度・異なる形で文章が「崩壊」していくことがわかりました。
- 数字や固有名詞を含む実用文（ニュースなど）は比較的崩壊しにくいが、因果関係や背景の説明は早い段階で失われやすい
- 物語文は早い段階で骨格だけが残り、極端に圧縮されやすい
- GPTは文字数を優先して指示に忠実に圧縮を続ける傾向、Claudeは固有名詞や数字を優先して残し、ある時点で「これ以上は情報が失われる」と自己判断して踏み止まる傾向が見られた
実用面での示唆としては、要約を多段階で重ねる運用（要約の要約をさらに要約、など）は避けた方が安全だと言えそうです。今回の結果では2〜3回目あたりから既に文章の趣旨が変質し始めており、それ以上重ねると元の文章が持っていた情報やニュアンス、そして「なぜそうなったか」という背景はほとんど失われてしまいます。要約は便利な機能ですが、「何度も重ねがけする」という使い方には向いていない、というのが今回の実験を通じての結論です。
使用素材の出典
- ニュース：デジタルアーツ株式会社 https://digitalpr.jp/r/137740
- 小説：夏目漱石「吾輩は猫である」（青空文庫 https://www.aozora.gr.jp/cards/000148/files/789_14547.html）