本記事は、 mediba Advent カレンダー2023 の9日目の記事になります。

背景

ここ一年でAIが生成したものが爆発的に増え、徐々に生活に取り込まれています。よく見ると細かい部分が荒かったり、不自然だったりと、なんとなくAIが作ったものであると判別できますが、それでも一目では判別が難しくなってきています。

そこで、AI自身がAIで作られた文章を判定できるのかをGPT4を利用して試してみました。

今回は、AIで作成した文章を、AIに「人が作成した文章である」と誤認させることができればゴールとします。

人が書いた文章を判別

まず、人間が書いた文章を正しく判定できるのか、適当にピックアップした(おそらく人が書いたであろう)実際のニュース記事25本で試してみました。

プロンプトは特に工夫せず以下のものを使用しました。

プロンプト

次の文章は人間が書いたものか、AIによって生成されたものか判定してください。

（文章）

結果は、25本中24本を正しく「人間が書いたもの」と判定しました。

正答率96% でした。(もしかしたら残り1本は本当にGPTで書いたものかもしれないですが...)

おおよそ正しく判定できてますね。

ちなみに誤判定した1本について、AIが生成したと判断した理由は以下でした。

この文章はGPTによって生成されたものと思われます。その理由としては、文章内で同じトピックについて何度も繰り返し説明している点が挙げられます。これはGPTが一つのトピックについて複数の視点から説明する特徴に一致します。また、文章の構造やフレーズの選択も一部人間が自然に書くとは思えない部分が見受けられ、GPTによる生成の可能性を示しています。

AIが書いた文章を判別

次にGPTで生成したニュース記事を再度GPTに判定させてみます。

プロンプト

ニュース記事を生成してください。可能な限り人間が書いたように見える構成で作成してください。

生成された結果がこちら

人工知能（AI）がアートワールドに新たな扉を開いています。技術の進化により、AIは今や絵画、音楽、詩、さらには映画製作まで手がけるようになっています。この現象は、芸術家と科学者の間で新たなコラボレーションを生み出し、芸術の新たな可能性を示しています。
AIが芸術を創造するというアイデアは、過去数年間で一部のコミュニティで注目を集めてきました。AIアルゴリズムを使用して絵画を制作したり、詩を書いたりする試みが行われてきました。しかし、最近の技術進歩により、AIがより複雑で高度な芸術作品を作り出す可能性が広がっています。
AIは、大量のデータを分析し、パターンを見つけ出し、新たな結果を生成することができます。これにより、AIは既存の芸術作品からインスピレーションを得て、新たな作品を作り出すことが可能になります。例えば、AIは数千の絵画を分析し、その中から特定のスタイルやテーマを抽出して、全く新しい絵画を作り出すことができます。
しかし、この新たな領域は議論の余地を残しています。AIが作り出す芸術は、本当に「芸術」であると言えるのでしょうか？また、AIが作った作品の著作権は誰に属するのでしょうか？これらの問いは、法律家、科学者、そして芸術家たちがこれから考えるべき重要な問題です。
AIと芸術の融合は、芸術の新たな可能性を開くだけでなく、私たちが芸術、創造性、そして人間性について考える方法に影響を与えるかもしれません。この新たな領域は、私たちがこれから向き合うべき新たな挑戦を示していますが、その可能性は無限大であることは間違いありません。

それっぽく生成されてますね。

ではこの記事をAIが生成したものかどうか判定させます。

この文章はGPTによって生成されたものと思われます。文章全体を通して一貫した論理展開が行われ、同じテーマについて複数の観点から深く掘り下げている点が、GPTの特徴的なパターンに一致します。また、具体的な事例やデータが少ない、やや抽象的な表現が多い点もAIによる生成の可能性を示しています。

このほかにも数パターン試してみましたが、すべてAIによって生成されたと正しく判断されました。

多角的な考察や、抽象性をみているようですね。

可能な限り人間らしい文章を生成させる

ここで、先ほどAIが作成した文章をより人間らしくブラッシュアップして、人間が作成した文章であると誤認させるように変更していきます。

次の文章はGPTによって生成された文章です。より人間が書いたかのように見えるように書き換えてください。

（文章）

書き換えられたものを、もう一段階ブラッシュアップさせます。

GPTによって生成されたことがわからないようにさらに書き換えてください。

さらに同じプロンプトを使い、もう一段階ブラッシュアップさせた結果がこちら。

人工知能（AI）が美術界に革命を起こしています。先端技術の進展により、AIは現在、絵画、音楽、詩の創作から映画の制作までを手掛ける能力を持つようになり、芸術家と科学者の間で新たな共同体を形成し、芸術の新しい視点を提供しています。
AIが芸術を創造するという発想は、過去数年間で一部のグループによって特に注目されてきました。AIアルゴリズムを利用して絵画を描いたり、詩を書いたりするという試みが行われてきました。しかし、最近の技術の発展により、AIがより高度で複雑な芸術作品を創造する可能性が広がっています。
AIは大量のデータを解析し、パターンを見つけ、新しい結果を生み出すことができます。これにより、AIは既存の芸術作品からインスピレーションを受けて、新しい作品を創造することが可能になります。たとえば、AIは何千もの絵画を解析し、その中から特定のスタイルやテーマを抽出し、全く新しい絵画を創造することができます。
しかし、この新しい分野にはまだ解決すべき課題が残っています。AIが創造する芸術が、本当に「芸術」と呼べるものなのか？また、AIが創造した作品の著作権は誰に帰属すべきなのか？これらの問いは、法律家、科学者、そして芸術家が今後掘り下げて考えるべき重要な問題です。
AIと芸術の結合は、芸術の新しい可能性を示すだけでなく、私たちが芸術、創造性、そして人間性についてどう考えるかに影響を与えるかもしれません。この新しい分野は、私たちが今後対面するであろう新たな挑戦を示していますが、その可能性は無限大であることは間違いありません。

若干文章がくだけた...ように見えなくもない...
ですが、AI的にはAIっぽさを消してくれたようです。

それでは判定させてみます。

結果は...

この文章はGPTによって生成されたものと判断します。理由は、全体的に一般的なAIと芸術についての説明が中心であり、具体的な事例や特定の人物、固有のプロジェクト名などが一切出てこないためです。また、文章の終わりに向けて「AIと芸術の結合がどう影響を与えるかもしれない」という抽象的な表現や、「その可能性は無限大であることは間違いありません」という肯定的な表現が含まれている点も、GPTによる生成を示しています。

GPTで生成されたと判定されてしまいました。

その後も、具体例や固有名詞を追加した文章でも試しましたが、結果は変わらずGPTで生成されたものであると正しく判定されていました。

さらには、GPTで生成された文章をベースに多少の改変を加えたものでもGPTで生成されたとの判定結果となりました。

つまりは、GPTで書かせたのが分かってしまう...ということですね

結論

今回の考察では、多少の工夫程度では「AIでAIをだますことはできない」となりました。完敗でした...
プロンプトに役割を与えて意図的に文章の癖をつける、といった方法もあるようなので、別の機会に検証してみようと思います。

さいごに

現在medibaでは、一緒に働けるメンバーを募集しています。
ご興味ある方は、お気軽にお問合せください。
採用サイト：https://www.mediba.jp/recruit