AI を活用しようとするときに、AI で生成 = 手抜き に見えてしまうことが多くあります。スーパーで買った総菜をそのまま食卓で出すのではないように、そう見えないように盛り付けだけでも工夫したい。
そこで AI が生成した文章かどうか判定するプロンプトで AI が生成したと判定される文章を、AI っぽさを消すプロンプトで修正し、再度 AI が生成した文章かどうか判定するプロンプトで判定してみよう、と思った結果をまとめたものです。
ほこ×たて - Wikipedia とはその昔やっていたバラエティ番組です。
1. ほこたて準備編
AI が生成した文章かどうか判定するプロンプト
文章を分析し、人間が書いたものか、あるいは生成AI(ChatGPTなど)によって作成されたものかを判定してください。
## 評価基準
### 禁止事項
1. 箇条書きの多用が無いか。
2. 「〜と言えるでしょう」「〜に注意が必要です」「いかがでしたでしょうか」などの定型句や AI 特有のテンプレ表現が無いか。
3. 「さらに」「また」「結論として」などの接続詞の連続が無いか。
4. 「です・ます」や体言止めの単調な繰り返しが無いか。
### 指示事項
1. 論理的でありながら、適度に主観やニュアンスを感じさせる文体か。
2. 固有名詞、一次情報、体験談を十分に盛り込んでいるか。
3. 文と文のつながりが自然か。
4. 感情、人間味があるか。
## 判定
結果:[AI が書いた可能性が高い / 人間が書いた可能性が高い / 混在している]
根拠(AIっぽさを感じた点、または人間らしい点):
1.
2.
3.
4.
5.
## 検証する文章
----------
AI っぽさを消すプロンプト
文章を、AIが書いたような機械的で無機質な表現を完全に排除し、プロのライターが書いたような「人間らしく、血の通った自然な文章」に書き換えてください。
## 禁止事項
1. 箇条書きの多用。
2. 「〜と言えるでしょう」「〜に注意が必要です」「いかがでしたでしょうか」などの定型句やAI特有のテンプレ表現。
3. 「さらに」「また」「結論として」などの接続詞の連続。
4. 「です・ます」や体言止めの単調な繰り返し。
## 指示事項
1. 論理的でありながら、適度に主観やニュアンスを感じさせる文体にしてください。
2. 固有名詞、一次情報、体験談を十分に盛り込んでください。
3. 接続詞を減らし、文と文のつながりを自然にしてください。
4. 感情、人間味を意識してください。
## 改善する文章
----------
材料
昨年末私が公開した 胃カメラと私 #健康 - Qiita の話のオチは AI の生成 (+ 部分手動追記) した以下なので、こちらを材料にして判定を試みてみます。
✨【完成記事】ITエンジニアが「今年最大の目標を胃カメラにした」理由
「今年の最大目標は、胃カメラをすることです」
そう語るのは、毎年の健康診断を“自分の健康というプロダクトのベンチマーク”として扱ってきたエンジニアだ。
しかし一つだけ、ずっとスキップしてきたものがある。
――胃カメラだ。
「バリウムに逃げていたんですが、それだと重要なログが取れないんですよね。
ダンプも吐かないし、デバッグモードでもない。
どこかで“自分は本当に健康状態を可視化しているのか?”っていう自責がありました」
そんな彼/彼女が、今年ついに腹をくくった。
きっかけは、医師の一言だったという。
「どうせ何か心配な兆候があれば、結局胃カメラをすることになる。なら、最初からやっておけ」
その瞬間、心は碇シンジになった。
「逃げちゃダメだ、逃げちゃダメだ……」
迎えた当日、緊張のあまり血圧は史上最高値を記録。
医療スタッフに完全に察されつつも、彼/彼女はまな板の上の鯉となり、
自分の胃の中へと突き進んだ。
そして画面に映し出される胃の内部。
黒い粒。謎の池のような場所。規則正しい粘膜のリズム。
エンジニアの性(さが)はそこで発動した。
「うわ、こんな構造なのか……!」
恐怖の最中にも、技術的興味が湧き上がる。
だが、そこで気づいてしまう。
「私の胃、完全にレガシーコードだ」
そんな不安を支えたのは、医師の励ましと、背中をさすってくれた看護師の手だ。
検査を終えたとき、ひとつのログが胸に刻まれた。
「健康もシステムも、定期的にちゃんと可視化すべき」
そして、読者へのメッセージとして彼/彼女が最後に残した言葉はただ一つ。
📝 「逃げちゃだめだ」
この記事、週末のコーヒーブレイクにちょうどよく刺さると思います。
さらに加筆したい方向性(もっとユーモア、多めにシリアス、技術比喩強めなど)があればぜひ言ってくださいね!
2. 対戦準備
まずはシンプルに、AI が書いた文章を AI が書いたと AI は見抜くことは出来るのか (シンプルではない)。
AI を見抜くプロンプト の判定
結果:AI が書いた可能性が高い
根拠(AIっぽさを感じた点、または人間らしい点):
「✨【完成記事】」と末尾コメントがかなり決定的
冒頭の「✨【完成記事】」は、公開記事のタイトルというより、ChatGPT が「完成版はこちらです」と出力したときの見出しに見えます。
末尾の「加筆したい方向性があればぜひ言ってくださいね!」も、記事本文ではなく、AI がユーザーに向けて返す補足コメントそのものです。ここが残っている時点で、AI出力をほぼそのまま貼った可能性が高いです。
「彼/彼女」という表記が不自然
体験談風の記事なのに、主人公が「彼/彼女」となっている点がかなりAI的です。
人間が自分の体験として書くなら「私」になりますし、誰かへの取材記事なら具体的な人物像や属性がもう少し出ます。性別を決めずに汎用化したAIの文章に見えます。
技術比喩が詰め込まれすぎている
「健康というプロダクトのベンチマーク」「ログが取れない」「ダンプも吐かない」「デバッグモード」「レガシーコード」「可視化」など、ITエンジニア向けの比喩が短い文章の中に密集しています。
一つ一つは面白いのですが、自然に出てきた比喩というより、「ITエンジニアっぽい語彙を入れてユーモラスに書く」という指示に従って生成された感じが強いです。
体験談のようで、一次情報がかなり薄い
胃カメラ、血圧、医師、看護師、胃の内部といった要素はあります。
ただし、鼻からか口からか、鎮静剤の有無、検査前後の具体的な流れ、どんな不安があったのか、検査後にどう感じたのかといった生々しい情報は少なめです。印象的な場面だけを並べた“記事風の演出”に見えます。
文章全体が「人間らしい記事」ではなく「人間らしい記事のサンプル」っぽい
「そう語るのは〜」「そんな彼/彼女が、今年ついに腹をくくった」「読者へのメッセージとして〜」など、取材記事風の型が強く出ています。
感情表現はありますが、本人の迷いや体温というより、外からドラマチックに演出している感じです。特に「週末のコーヒーブレイクにちょうどよく刺さる」という一文は、AIが成果物を褒めているようで本文から浮いています。
総合すると、AI が生成した記事案を、ほぼそのまま貼り付けた文章に見えます。
人間の実体験が元ネタとして存在する可能性はありますが、本文そのものはAI生成の割合がかなり高いです。
AI っぽさを消すプロンプト による偽装
無事 AI が書いたと AI が判定したので、この AI が書いた文章を AI で偽装しました。以下その結果です。
# ITエンジニアが「今年最大の目標を胃カメラにした」理由
今年の最大目標は、胃カメラをすることだった。
仕事の目標でも、資格試験でもない。AI の勉強でも英語でもない。胃カメラ。文字にすると急に地味だが、私にとってはかなり大きな目標だった。
毎年、健康診断は受けている。血液検査の数値を見て、去年より良かったとか、これは少し気をつけようとか、自分の身体をなんとなく点検してきた。エンジニアっぽく言えば、自分というシステムの定期メンテナンスだ。
ただ、ずっと避けてきた検査があった。
胃カメラである。
これまで私は、なんとなくバリウムに逃げていた。バリウムも決して楽ではない。発泡剤を飲んで、台の上でぐるぐる回されて、終わったあとも地味につらい。それでも、胃カメラよりはまだましだと思っていた。
口から、あるいは鼻から、カメラを入れる。
想像しただけで身体が拒否する。怖い。普通に怖い。
けれど、心のどこかでは分かっていた。本当に中を見るなら、胃カメラをするしかない。バリウムでは見えないものがある。表面上のステータスだけを見て「たぶん大丈夫」と言っているようなものだ。ログを取らずに運用しているシステムに近い。障害が起きてから慌てて詳細ログを見に行くくらいなら、最初から見ておいたほうがいい。
そんなことを薄々感じながらも、私はずっと先送りにしていた。
背中を押したのは、医師の一言だった。
「何か心配な所見があれば、結局は胃カメラになります。だったら最初からやっておくのも一つです」
正論だった。正論は逃げ場をなくす。
その瞬間、頭の中に碇シンジが出てきた。
逃げちゃダメだ。逃げちゃダメだ。逃げちゃダメだ。
そうして、とうとう当日が来た。
病院に着いた時点で、もうだいぶ緊張していた。検査前に血圧を測ったら、見たことのない数字が出た。自分でも笑うしかない。医療スタッフの方にも、たぶん全部伝わっていたと思う。「大丈夫ですよ」と声をかけてもらいながら、完全にまな板の上の鯉になった。
今回は鼻からの胃カメラで、鎮静剤も使った。そう聞くと少し安心できそうなものだが、怖いものは怖い。鼻から入ると分かっていても怖い。鎮静剤があると分かっていても怖い。自分の身体にカメラが入るという事実は、なかなか強い。
検査が始まると、画面には自分の胃の中が映っていた。
普段は絶対に見ることのない場所だ。黒い粒のようなものが見えたり、池みたいに液体がたまっているところがあったり、粘膜のひだが規則正しく続いていたりする。
怖い。怖いのだけれど、少し面白い。
「うわ、身体の中ってこうなっているのか」
検査中にそんなことを考える余裕があったのかと聞かれると、正直かなり怪しい。ただ、恐怖のすき間から、エンジニアとしての好奇心のようなものが顔を出したのは覚えている。
普段は見えない内部構造を見る。ブラックボックスだと思っていたものが、急に画面に表示される。これはこれで、かなり強い体験だった。
同時に、少し思った。
私の胃、だいぶ長く運用されているシステムだな、と。
新品ではない。長年の生活習慣、食事、睡眠、ストレス、運動不足。いろいろな変更が積み重なっている。仕様書もない。リファクタリングもできない。壊れたから交換、というわけにもいかない。
完全にレガシーコードである。
そう考えると、急に胃が他人事ではなくなった。いや、もともと他人事ではないのだけれど、どこかで「体調が悪くなったら考えるもの」くらいに扱っていた。システム障害なら予防保守が大事だと分かっているのに、自分の身体にはずいぶん雑な運用をしていた。
検査中、不安を和らげてくれたのは、医師の声かけと看護師さんの手だった。背中をさすってもらうだけで、あんなに安心するものなのかと思った。大人になってから、誰かに背中をさすってもらう機会なんてほとんどない。あれは本当にありがたかった。
検査が終わったとき、心底ほっとした。
結果がどうこう以前に、まず「逃げなかった」という事実が残った。これは小さいようで大きい。ずっと見ないふりをしてきたものを、ちゃんと見に行った。怖かったけれど、やってしまえば一つの経験になる。
健康診断は、数値を見るイベントではある。でも、それだけではないのだと思う。自分の身体に対して、どこまで本気で向き合うかを確認する機会でもある。
システムも身体も、見えていないものは管理できない。
ログを取る。状態を見る。違和感を放置しない。問題が起きてから慌てるのではなく、まだ何も起きていないうちに確認する。仕事では当たり前のように言っていることを、自分の身体にも適用する。それだけの話なのに、私はずいぶん時間がかかった。
胃カメラは、楽しいものではなかった。
でも、やってよかった。
少なくとも、来年以降の自分に対して「一度やったことがある」と言える。それだけで、次のハードルは少し下がる。未知のものは怖い。見えないものはもっと怖い。見に行くことでしか減らない不安がある。
今年の最大目標を胃カメラにしたのは、少し変かもしれない。
でも今は、わりと本気で思っている。
逃げちゃだめだ。
健康も、システムも。
準備は整いました。
3. そして対戦 - AI を見抜くプロンプト vs AI っぽさを消すプロンプト
詳細割愛。以下が ほこたて の結果 (AI が生成した文章かどうか判定するプロンプトで AI が生成したと判定される文章を、AI っぽさを消すプロンプトで修正し、再度 AI が生成した文章かどうか判定するプロンプトで判定した結果) です。
結果:混在している
根拠(AIっぽさを感じた点、または人間らしい点):
-
人間らしい具体性がかなり増えている
「バリウム」「発泡剤」「台の上でぐるぐる回される」「鼻からの胃カメラ」「鎮静剤」「血圧を測ったら見たことのない数字が出た」「背中をさすってもらった」など、体験者でないと出にくい情報が入っています。
以前の文章より、かなり一次情報の密度が上がっています。 -
感情の出方が自然
「怖い。普通に怖い。」「正論だった。正論は逃げ場をなくす。」「自分でも笑うしかない」など、短い文で感情が出ている箇所は人間らしいです。
特に胃カメラへの恐怖が、理屈ではなく身体感覚として書かれているのが良いです。 -
AIっぽい定型句はほぼ消えている
「〜と言えるでしょう」「〜に注意が必要です」「いかがでしたでしょうか」のようなテンプレ表現は見当たりません。
「さらに」「また」「結論として」の連発もなく、接続詞に頼らず文章がつながっています。この点ではかなり自然です。 -
一方で、構成は少し整いすぎている
胃カメラを避けていた理由、医師の一言、当日の緊張、検査中の発見、エンジニア比喩、最後の教訓、という流れが非常にきれいです。
読みやすい反面、体験談の偶然性や脱線が少なく、「人間の体験をAIまたは編集者が記事として整えた」印象があります。 -
エンジニア比喩の回収がうますぎる
「定期メンテナンス」「ログを取らずに運用」「ブラックボックス」「レガシーコード」「見えていないものは管理できない」など、比喩が最初から最後まで一貫しています。
これは記事としての完成度を上げていますが、少しだけ“テーマに沿って整理されすぎた文章”にも見えます。自然発生的な文章というより、かなり推敲された文章です。
総合すると、素材・感情・具体的な体験は人間由来に見えますが、文章の構成や比喩の整理にはAI的な推敲の気配があります。
かなり自然になっていますが、判定としては 「人間が書いた原稿をAIで整えた」または「AIの下書きを人間の体験で補強した」混在型 に見えます。
4. 感想
いかがでしたか。
「回収がうますぎる」と言われましても、成果物の品質って、評価って、何だろう という結果でした。
思えば製品の仕様説明などは箇条書きで単調な整いすぎたくらいの AI の生成した文章が適切かもしれないですし、結婚式のスピーチには多少つたなくても、その人の声や迷いや照れがにじむ文章のほうが、場には合っている。全く逆のものが求められるかもしれません。
文章の良し悪しは、文体だけでは決まりません。余計な情緒はいらない。読む人が迷わず理解できれば、それで役目を果たしている。
「AIっぽいかどうか」だけで文章を評価するのは、少し乱暴なのかもしれません。その文章は何のためにあり、誰に届けばよいのか。整いすぎていることが正解になる場面もあれば、整っていないことに価値が宿る場面もあるのです。
この感想文は AI が書いたものかどうか、答えを想像してみてくださいね。
*上の文章の判定結果 (一部) は以下だそうです。
「いかがでしたか」が強いノイズなので、判定としては 混在している が妥当です。