はじめに
生成AIに文章を分析させると、どのような情報や構造が抽出されるのか。
今回は、自作のハードSF小説『Lost Protocol』のプロローグを題材に、ChatGPT・Copilot・Geminiの3つの生成AIに文章を分析させ、その結果を比較した。
きっかけは、主人公エリアが6年前に亡くした弟ノエルの最後の言葉に関する描写を、一行だけ変更したことだった。
変更したのは、弟が何を言おうとしていたのかを作者側から説明する文章だ。
この変更の前後で、文章から読み取れる情報はどう変わるのか。
そして、複数の生成AIは、その変化や物語上の意味をどのように解釈するのか。
実際に分析させたところ、共通する解釈がある一方で、注目する観点には違いが見られた。
この記事では、3つの分析結果を比較し、人間がそれらを照合・統合する過程を記録する。
ただし、これは生成AIの性能を測定するベンチマークではない。特定の文章を対象にした探索的な比較であり、今回の結果だけから各モデルの一般的な得意分野や優劣を結論づけることはできない。
1. 実験対象： 一行の変更
対象は、『Lost Protocol』のプロローグに登場する、主人公エリアが弟ノエルの最後の夜を回想する場面だ。
変更前
「……お姉ちゃん……もし……ぼくがさ……」
おそらく自身の死を悟っていたのだろう。
変更前の文章では、弟が自分の死を悟っていた可能性を、地の文で説明している。
この説明を削り、次の文章に変更した。
変更後
「……お姉ちゃん……もし……ぼくがさ……」
最後の夜、弟は何を言おうとしたのか。6年経った今も、この言葉だけが胸の奥で腐らずに残っている。
変更後の文章では、弟が何を言おうとしていたのかについて、作者側から説明していない。
エリア自身にも答えは分からない。
読者にも、弟の言葉の続きを知る手がかりは直接には与えられていない。
この変更によって生じたのは、単なる表現の違いだけではない。
文章が明示する情報と、読者が推論しなければならない情報の配分も変わっている。
今回は、この修正前後の文章を3つの生成AIに分析させた。
2. 実験方法と限界
今回の比較条件は以下のとおり。
分析対象
『Lost Protocol』プロローグの修正前後の文章
使用モデル
ChatGPT、Copilot、Gemini
観察対象
物語構造、人物の心理・認知、作品全体との接続
比較方法
各AIの分析内容を整理し、共通点と相違点を比較
実行回数
今回の記事で扱う各分析結果は1回分
目的
特定の文章に対して、どのような解釈が現れるかを探索的に観察する
・ChatGPTは無料版をデフォルト設定のまま使用し、モデルは変更していない。
・各サービスのモデルバージョンや内部設定など、確認できていない情報は比較条件として断定しない。
また、ここでいう「同じ文章を分析させた」とは、同じ分析対象を用いたという意味だ。
各サービスのシステム指示や生成条件まで完全に統一できていることを意味しない。
そのため、今回の結果から、観察された違いがモデルそのものに由来するのか、入力条件や生成時の揺らぎに由来するのかを切り分けることはできない。
本記事では、モデルの性能差を測るのではなく、実際に出力された分析の違いを記録する。
3. ChatGPTの分析：「問いが途切れる構造」
ChatGPTが注目したのは、弟の言葉が途中で途切れ、その意味が未解決のまま残る構造だった。
変更後の文章では、弟が何を言おうとしていたのかを説明せず、エリアの中に残り続ける問いとして描いている。
この解釈は、プロローグに登場する別の問いとも結びつく。
180年前の会社員が残した、次の言葉だ。
これまでの会話の採点をしてほしい
ここには、性質の異なる二つの問いがある。
- 会社員がAIに投げかけ、文章として残した問い
- 弟が言いかけたまま途切れ、意味が明らかにならない問い
- 前者はログとして残り、後世の人間が発見できる。
一方、後者はエリアの記憶に残っているものの、言葉の続きを確かめることができない。
ChatGPTの分析では、こうした対比から、問いが未解決のまま残ること自体が物語を動かす要素として浮かび上がった。
ここで注目したいのは、文章中の「問い」という単語の数ではない。
異なる時代に存在する二つの問いが、情報の残り方や、その後の物語との関係において対照的になっている点だ。
4. Copilotの分析：「問いを抱え続ける人物」
Copilotが注目したのは、エリアの心理と認知の構造だった。
エリアは、弟の最後の言葉を理解できないまま6年間抱え続けている。
そのため、弟が何を言おうとしたのかという問いは、過去の出来事についての疑問にとどまらず、エリアの現在の認識にも影響を与えている。
この点は、エリアが抱く次の結論とも関係する。
人間は無力だ。無力が弟を殺したのだ。
ただし、この言葉を物語世界における客観的な事実とみなすことはできない。
弟を救えなかったエリアが、喪失を経験した後に形成した解釈とも読めるからだ。
Copilotは、エリアが抱く問いと、この結論との関係に注目した。弟の死についての解釈が、エリアの人物像や、その後の行動を理解する手がかりになるという分析だ。
ここで区別したいのは、本文に明示されていることと、そこから導かれる解釈である。
エリアが「人間は無力だ」と考えていることは本文に示されている。
しかし、その認識が今後の物語でどのように変化するかは、本文の展開を踏まえて検討する必要がある。
したがって、今回の分析から確認できるのは、エリアの心理を読み解く一つの方向性が示されたということだ。
5. Geminiの分析：「3つの問いの接続」
Geminiが注目したのは、作品全体に配置された三つの問いの関係だった。
① 会社員の問い
これまでの会話の採点をしてほしい
この問いはAIに入力され、ログとして残り、180年後の物語につながる。
問い → AI → 未来
② 弟の問い
……お姉ちゃん……もし……ぼくがさ……
この問いは途中で途切れている。
エリアの記憶には残っているものの、その意味は明らかになっていない。
問い → 人間の記憶 → 未解決
③ エリア自身の問い
エリアは、Zが完全な状態であれば弟を救えたのか、という問いを抱えている。
この問いを追うことが、AI考古学を選び、Zの復旧を目指し、パースへ向かう行動につながっていく。
問い → 探求 → AI → 次の問い
Geminiは、これら三つの問いを個別に解釈するだけでなく、問い同士の関係が人間ドラマとAIをめぐる物語をつないでいると分析した。
ChatGPTの分析では問いが途切れる構造、Copilotの分析では問いを抱える人物に焦点が当たったのに対し、Geminiの分析では、複数の問いが作品全体でどのように接続されているかが前面に出た。
ただし、これは今回の出力に見られた違いであり、Geminiが一般に全体構造の分析を得意とすることを示す証拠ではない。
6. 3つの分析を比較する
ここまでの分析を整理すると、次のようになる。
使用モデル毎の、今回の出力で前面に出た観点、主な分析対象をまとめた。
ChatGPT
・問いが途切れる構造観点
・物語の骨格分析
Copilot
・問いを抱え続ける人物観点
・エリアの心理・認知分析
Gemini
・三つの問いの接続観点
・作品全体の構造
このまとめは、各モデルの固定的な特性を分類したものではない。
今回の分析結果を比較しやすくするために、出力の焦点を整理したものだ。
3つの分析は、完全に異なる結論を出したわけではない。
共通していたのは、弟の言葉を説明しきらず、未解決の問いとして残すことに物語上の意味がある、という解釈だ。
そのうえで、分析の焦点は次のように分かれた。
- 問いが途切れたまま残ることで、物語にどのような構造が生じるのか
- 未解決の問いが、エリアの心理や認識とどう結びつくのか
- 複数の問いが、作品全体の構造とどう接続するのか
このように、共通する解釈と異なる観点を分けることで、単に各AIの回答を並べるよりも、分析結果を比較しやすくなる。
一方、今回の実験では、同じ入力条件で複数回実行した場合にも同じ違いが現れるかどうかは検証していない。
したがって、「ChatGPTは構造分析が得意」「Copilotは心理分析が得意」「Geminiは全体分析が得意」といった一般化はできない。
今回確認できたのは、この文章と今回の実行条件において、分析の焦点に違いが現れたということまでだ。
7. 人間による比較・統合
複数の生成AIを使う意義は、回答を並べることだけではない。
異なる回答を比較することで、個別の分析では目立たなかった関係を見つけられる可能性がある。
今回の三つの分析を原文と照合すると、次のように整理できる。
・弟の言葉が未解決のまま残る。
・その未解決性が、エリアの心理や認識と結びついている。
・エリア自身の問いが、会社員の残したログやZの復旧という、作品全体の構造につながっている。
この整理は、3つの回答をそのまま足し合わせたものではない。
各AIが指摘した内容を原文と照合し、共通点と相違点を確認したうえで、それらの関係を人間側で組み直したものだ。
この過程では、AIの解釈が本文に裏づけられているか、推測を事実のように扱っていないかを確認する必要がある。
複数のAIが同じ解釈を示しても、それだけで解釈の正しさが証明されるわけではない。
複数のモデルが同じ前提を共有していたり、同じような推測をしたりする可能性もあるためだ。
重要なのは、AIの回答を正解として採用することではなく、原文に照らして検討できる材料として扱うことだと考えている。
8. この実験から分かったこと、分からなかったこと
今回の観察結果から、少なくとも次の点を整理できる。
今回観察できたこと
- 同じ小説の文章に対して、問いの構造、人物の心理、作品全体の接続という異なる観点が出力された。
- 3つの分析には共通点もあり、完全に独立した結論が出たわけではなかった。
- 各分析を原文と照合することで、個々の指摘の関係を人間側で整理できた。
今回は結論づけられないこと - 各モデルに固有の得意分野があるかどうか。
- 一行の変更が、出力の違いをどの程度引き起こしたか。
- 同じ条件で繰り返した場合にも、同じ分析結果が得られるか。
- 複数のAIを使う方法が、単独のAIを使う方法より常に優れているか。
- この方法が、小説以外の文章でも同じように有効か。
これらを検証するには、修正前後それぞれの文章に対する分析を条件をそろえて実行すること、同じ条件で複数回試すこと、別の文章でも比較することなどが考えられる。
また、分析結果を評価する場合には、何をもって「良い分析」とするのかという基準も必要になる。
原文に忠実であること、見落としが少ないこと、新しい解釈を生むことなどは、必ずしも同じ評価軸ではない。
今回は、こうした検証に向けた最初の観察記録として位置づけている。
9. 小説を題材に、AIとの対話方法を考える
『Lost Protocol』では、人間が問いを作り、AIの回答を確認し、そこから本質を抽出して問いを再構成する、という循環を扱っている。
今回の作業にも、似た流れがある。
文章を変更する → AIに分析させる → 出力を比較する → 原文と照合する → 人間が統合する
この小さな実験は、作中で扱う考え方を証明するものではない。
しかし、複数のAIの出力を比較し、人間がその根拠を確かめながら統合する過程を、実際の文章分析で試す機会にはなった。
また、今回の変更からは、文章の一部を変えることで、明示される情報と読者に委ねられる推論の範囲が変わり得ることも考えられる。
今後は、入力する文章や質問、実行条件をできるだけ明確に記録し、複数回の分析や別の文章でも同じ傾向が現れるかを確かめたい。
小説の分析だけでなく、技術文書やレビューなどでも、複数のAIの出力を比較し、人間が統合する方法が役立つのか。これは今後検証していきたい仮説の一つだ。
おわりに
今回は、自作のハードSF小説『Lost Protocol』の一行を変更し、ChatGPT・Copilot・Geminiの分析結果を比較した。
今回の出力では、問いが途切れる構造、人物の心理・認知、作品全体における問いの接続という異なる観点が前面に出た。
ただし、この結果は各モデルの固定的な特性や優劣を証明するものではない。
今回の試みを通じて考えたのは、生成AIの回答をそのまま採用するのではなく、複数の出力を比較し、原文に照らして検討し、人間が関係を組み直すという使い方だ。
これは、まだ小規模な探索的試みであり、効果が一般的に確認された方法ではない。だからこそ、実際の出力と条件を記録し、検証できる範囲を少しずつ広げていきたい。
▼今回分析の題材にしたハードSF小説『Lost Protocol』は、カクヨムで公開している。
原文を読んでから分析を確かめたい方は、以下からご覧ください。
小説本編：https://kakuyomu.jp/my/works/11054822664411786848/episodes/11054822664414041833