ChatGPTを使って長期間いろいろな記事を作っていると、だんだん指示が短くても通じるようになってきます。
以前の記事のことを踏まえてくれたり、
「あれをnote用にして」
くらいの指示でも、かなり自分の意図に近いものが出てきたりします。
これはとても便利です。
ところが今回、その便利さと表裏一体のような現象が起きました。
「この原文を要約してください」と渡したのに、原文には書かれていない情報が完成した記事に入っていました。
ただし、その情報はChatGPTが完全に創作したものではありません。
私が以前、ChatGPTとの雑談で実際に話していた内容でした。
今回はこの現象について書きます。
WordPressの記事をnote向けに要約してもらった
私は先日、映画『死国』についてかなり長いレビュー記事を書きました。
元の記事はこちらです。
栗山千明さん出演のホラー映画『死国』が最悪だという話を事実陳列罪
かなり長い記事になったため、
「何も知らない人が読むには大変だろう」
と思い、ChatGPTに要約してもらったものをnoteにも投稿しました。
こちらです。
note版は元の記事よりかなり短くなっています。
人物関係や私が映画のどこに不満を持ったのかも整理されていて、映画を知らない人にはこちらの方が読みやすいと思います。
ところが公開後、あらためて見比べていて気づきました。
note版には、元の記事に書いていない話が入っています。
原文にない「格闘技の話」が入っていた
映画『死国』には、蘇った少女が人を抱きしめて背骨を折る場面があります。
元のWordPress記事でも、
「なぜ幽霊なのに物理的な方法で殺すのか」
という趣旨のことは書いています。
ただし、元の記事ではそこまで格闘技の話をしていません。
格闘技についてたくさん話していたのは、記事を書いている途中のChatGPTとの雑談です。
映画を見ながらChatGPTと話しているうちに、
「幽霊なのにフィジカルが強すぎる」
「なんでそんなにクリンチが強いんだ」
といった方向へ話が脱線していきました。
私はもともと格闘技が好きなので、そこからさらに格闘技の話をしていました。
でも、それはあくまで作業中の雑談です。
WordPressに公開した原文では、その要素をかなり減らしています。
ところが、そのWordPressの記事をnote向けに要約してもらったところ、
作業中の雑談で話していた格闘技寄りのニュアンスまでnote版に入っていました。
これは「ハルシネーション」ともちょっと違う
ここが今回面白いと思ったところです。
ChatGPTが存在しない情報を完全に作り上げたのであれば、
「AIが間違った情報を生成した」
という分かりやすい話になります。
でも今回混ざった情報は、私からすると間違いではありません。
実際に私がChatGPTに話したことです。
ただし、
今回渡した原文には書いていない。
そこが問題でした。
私としては、
「このWordPress記事を材料にしてnote用に要約してください」
というつもりでした。
しかしChatGPT側には、それまで私と何度も『死国』について話した文脈があります。
その結果、
原文の要約 + それまでの会話で知っている私の感想
のようなものが出来上がったように見えました。
少なくとも、完成した文章を比較するとそのような状態になっています。
雑談まで聞いてくれるのは、かなり楽しい
とはいえ、この性質そのものを悪いとは思っていません。
ChatGPTと長期間一緒に記事を作っていると、途中でかなり脱線します。
記事の話をしていたはずなのに格闘技の話をしたり、
どうでもいい冗談を言ったり、
突然思い出した別の話をしたりします。
人間相手だったら、
「まだその話するの？」
みたいな顔をされそうなところでも、ChatGPTは悲しげな顔をするわけでもなく普通に付き合ってくれます。
これは結構楽しいです。
そして、その雑談の中から新しい記事のネタが生まれることもあります。
今回のように、映画のレビューを書いていたはずなのに、
「人間が書いた文章とAIで要約した文章は何が違うのか」
という別の記事が生まれたりもします。
長く使っているほど、以前の話を踏まえてくれることが便利になる場面もあります。
でも「知っていること」と「今回使ってほしいこと」は違う
今回の経験で一番重要だと思ったのはここです。
ChatGPTに知っていてほしい情報と、今回の文章に使ってほしい情報は同じではありません。
私はChatGPTに格闘技が好きだという話をしていてもいい。
『死国』の殺害方法を見て格闘技を連想したという話をしていてもいい。
雑談として盛り上がってもいい。
でも、
「この原文を要約してください」
と頼んだときには、原文の外にある雑談は入れてほしくない場合があります。
人間同士でも似たことはあるかもしれません。
私のことをよく知っている編集者に原稿を渡したら、
「前にこんなことも言っていましたよね」
と補足してくれるかもしれません。
それが嬉しいときもあります。
でも、
今回はそこを足さないでほしかった
という場合もあります。
文脈を知ってくれていることと、文脈を使ってほしいことは別です。
関係性が進むほど「確認しなくていい」わけではなかった
ChatGPTを長く使っていると、
「あれ作って」
くらいでも、かなり欲しいものが出てくるようになります。
自分の好みも分かっている。
過去に作った記事の形式も分かっている。
いつもの構成も分かっている。
これはものすごく便利です。
だからこそ、
「もうだいたい分かってくれているから、そのまま公開しても大丈夫だろう」
という気持ちにもなりやすいです。
でも今回、それは別の話だと分かりました。
むしろ文脈をたくさん共有しているからこそ、
今回の原稿には必要のない過去の情報まで自然に混ざる可能性がある。
少なくとも私は実際にそれを経験しました。
原文ベースの記事を作るときは条件を明示した方がよさそう
今後、同じような作業をするときは、
「この文章だけを情報源として要約してください」
「これまでの雑談で話した情報は追加しないでください」
「原文にない情報を補足しないでください」
など、材料の範囲を明示しておく方がよさそうです。
それでも完成した文章は自分で確認する。
不要な情報が混ざっていれば削る。
必要なら再生成する。
逆に、
「以前話した内容も使って補足して」
と頼みたいときもあります。
大切なのは、
今回はどこまでの情報を使っていいのかを分けること
なのだと思います。
最終的に公開する文章はやっぱり自分で確認する
今回のnote記事に混ざった格闘技の話は、致命的な間違いではありませんでした。
そもそも私が実際に話していたことです。
記事の雰囲気にも合っていました。
なので、そのまま残っていても大きな問題にはなりません。
でも、これが別の内容だったらどうでしょう。
公開したくなかった雑談。
記事では意図的に削った話。
古くなった情報。
別の記事で使う予定だった話。
こういったものが混ざった場合は困ります。
ChatGPTとの関係が長くなって、
「あれお願い」
だけでかなりのものが作れるようになったとしても、
最後に公開するのは自分です。
だから、最終確認までChatGPTとの関係性に丸投げすることはできない。
今回の出来事で、改めてそう思いました。
便利になればなるほど確認しなくてよくなる、ではなく、
便利になっても、最後の確認だけは残る。
今のところ、私はそんな使い方がちょうどいいと思っています。
文系Qiita部
この記事で扱った現象は、ChatGPTと長文を作っている途中で起きたことの一つです。
実際には、一つの記事を長期間一緒に作っていると、文章が綺麗に整理されすぎたり、途中の細かい情報が消えたり、今回のように「原文にはないけれど以前の雑談では話したこと」が混ざったりと、いろいろな「なんか変だ」が起きます。
それらを一つずつ切り出して観察した記録を「文系Qiita部」にまとめています。
今回比較した記事はこちらです。
元になったWordPress版
栗山千明さん出演のホラー映画『死国』が最悪だという話を事実陳列罪
ChatGPTに要約してもらったnote版