ChatGPTを使って実際に文章を作りながら、人間とAIでどうすればより良いコンテンツを作れるのかを試しています。
現在は、ChatGPTと一緒に長文記事を一本制作・公開し、その制作過程で起きた現象や失敗、気づきを個別のケースとして記録しています。
この記事も、その実験中に実際に起きた一例です。
最初から「丸投げ」できたわけではない
最近、私はChatGPTにこんな指示を出しています。
Qiitaの記事作って
かなり雑です。テーマすら書いていません。
それでも現在は、過去の記事と重複していないテーマをある程度選び、いつもの形式で記事を作れるようになっています。
これだけを見ると、「ChatGPTなら短い指示だけで記事を丸ごと作れる」 という話に見えるかもしれません。
でも、最初からこうだったわけではありません。
むしろ逆です。
ここまで指示を短くするために、その前に大量のやり取りがありました。
最初は「違う」が大量に発生した
ChatGPTと長文を作り始めたころは、生成された文章に対して何度も修正を出していました。
例えば、
- 「ここ私こんなこと言ってない」
- 「因果関係を綺麗にしすぎ」
- 「急にいい話にするな」
- 「そこ削ると面白くない」
- 「同じ話さっきもしてる」
といったものです。
どれも高度なプロンプトではありません。
むしろ、出てきたものを見て「違う」と言っているだけです。
ただ、この「違う」を何度も繰り返していると、少なくとも同じ会話の中では、
私が何を嫌がるのか
何を残したがるのか
どういう文章を採用するのか
という文脈が少しずつ増えていきます。
一発で正解を出すプロンプトを作っていたわけではない
生成AIについて調べていると、「良いプロンプトの書き方」という話をよく見かけます。
もちろん、最初から条件を具体的に書けば出力が安定する場面はあります。
ただ、今回の私の使い方は少し違いました。
最初に完璧な指示書を作って、
文体は○○
構成は○○
禁止事項は○○
文字数は○○
この表現は使わない
この順番で書く
と全部指定したわけではありません。
まず作ってもらう。
読む。
違うところを指摘する。
また作ってもらう。
また読む。
この繰り返しです。
つまり、最初に仕様書を完成させたのではなく、作りながら仕様が判明していきました。
「違う」は仕様を発見する作業だった
例えば、ChatGPTが実際の出来事を綺麗な物語に整理したとします。
私はそれを読んで、
急にいい話にするな
と言います。
その瞬間に、「私は出来事を必要以上に感動的な方向へ整理されたくない」 という仕様が一つ判明します。
別の文章で、小さな脱線エピソードが削られたとします。
そこで、
そこ削ると面白くない
と言う。
すると、「本筋だけではなく、脱線や余計な情報もある程度残したい」 という仕様が判明します。
最初から自分で全部説明できたわけではありません。
出力を見たから、「あ、自分はこれが嫌だったんだ」 と分かったこともあります。
人間側も、自分の仕様を最初から知らない
ここが意外と大きかったです。
ChatGPTに自分好みの文章を書かせるには、自分の好みを正確にプロンプトへ書けばいい と思っていました。
でも、そもそも私は自分の好みを全部言語化できていませんでした。
実物を見て初めて、
「これは違う」
「これは好き」
「この部分は残したい」
と分かる。
例えば服でも、メニューでも、デザインでも、
「好きなものを詳しく説明してください」
と言われるより、実物を見せられて、
「こっちは好き、こっちは嫌い」
と答える方が簡単なことがあります。
文章でも似たことが起きました。
フィードバックが増えると、指示が短くなった
このやり取りを何度も繰り返した結果、指示が少しずつ短くなっていきました。
最初は、
この内容を整理してください。
ただし因果関係は勝手に追加せず、
このエピソードは削らず、
あまり綺麗な結論にはせず……
のように説明する必要があります。
でも同じ作業を繰り返していると、
いつもの感じで整理して
でもある程度通じるようになる。
さらに作業そのものが定型化すると、
Qiitaの記事作って
まで短くなる。
表面上のプロンプトだけを見ると、情報量はものすごく減っています。
でも実際には、情報が消えたわけではありません。 それまでの会話、修正、採用、不採用、作業ルールなどが前提になっています。
今の「Qiitaの記事作って」の裏にはかなり色々ある
現在、この一言の裏には少なくとも、
- ChatGPTとの共同制作で実際に起きたケースを扱う
- 1記事につき基本的に1テーマ
- すでに公開した記事との重複をなるべく避ける
- 単なるAI礼賛記事にはしない
- 実際に起きたことと推測を混ぜない
- 元になった長文記事へのリンクを最後に置く
- Qiitaの記事だけでも内容が完結するようにする
- Markdownでそのまま貼れる形にする
-
ChatGPT生成AIAI文章LLMを基本タグにする - 短文ごとに空行を大量に入れず、意味のまとまりで詰める
- ただし、間を作りたい短文は独立させる
といったルールがあります。
これを毎回全部書いているわけではありません。
過去の制作と修正の中で決まっていったものです。
つまり、
Qiitaの記事作って
という短い指示の後ろに、かなり長い設定ファイルがぶら下がっているような状態 です。
短いプロンプト＝簡単な指示、ではなかった
ここまでやってみて、プロンプトの長さだけを見ても、AIへの指示量は分からない と思うようになりました。
初めて話す相手への、
いい感じの記事を書いて
と、
何度も一緒に作業した後の、
いつもの感じで
は、文字数としてはどちらも短いです。
でも後者には共有済みの前提があります。
人間同士でも、
いつものやつお願いします
で注文が通る店があります。
その言葉自体に大量の情報が含まれているのではなく、過去のやり取りが省略されているだけです。
今回のChatGPTとの制作でも、それに近い状態になりました。
ただし、ずっと通じるとは限らない
ここは注意が必要です。
私はこれを、「ChatGPTが私のことを完全に学習した」 という意味では捉えていません。
会話の文脈が変わったり、過去の細かい情報が参照できなくなったりすれば、同じ短い指示で同じ結果になるとは限りません。
実際、長いやり取りでは、以前話した内容の発言者や時系列が曖昧になることもありました。
なので、重要な仕様や事実関係まで、
もう分かってるよね
で永久に任せるのは危ないと思っています。
必要なら元のログを確認する。
重要なルールは改めて伝える。
事実関係は人間側でも確認する。
短い指示で通じることと、正確な記録を持っていることは別です。
プロンプトを完成させるより、出力を見て直す方が楽だった
今回の経験では、最初から巨大な「最強プロンプト」を作るより、
作る
↓
見る
↓
違うと言う
↓
直す
↓
また見る
を繰り返す方が、自分には合っていました。
その過程でAI側への指示が増えるだけではありません。
人間側も、自分が何を求めているのか分かってきます。
最初は、
なんか違う
しか言えなかったものが、
因果関係を追加しているから違う
綺麗にまとめるために脱線部分を削ったから違う
と説明できるようになる。
すると次回から、その部分については最初から指示できます。
AIへのフィードバックが、同時に人間側の仕様整理にもなっていました。
まとめ
現在、私はChatGPTに、
Qiitaの記事作って
とかなり雑な指示を出しています。
それでもある程度作業が進みます。
ただし、これは最初から短いプロンプトで全部できたという話ではありません。
むしろ、
- 大量に作る
- 大量に「違う」と言う
- 採用する
- 捨てる
- ルールができる
- また作る
という工程を繰り返した結果、最後に指示が短くなりました。
だから今のところ、私にとって重要なのは、最初から完璧なプロンプトを書くこと より、
出てきたものに対して、何が違うのかを返し続けること なのだと思います。
そして、その結果として現在、
「Qiitaの記事作って」
という、とんでもない丸投げが成立しています。
短くなったのはプロンプトです。
その前にやったことは、全然短くありませんでした。
文系Qiita部
この記事で扱った現象は、ChatGPTと長文を作っている途中で起きたことの一つです。
実際には、一つの記事を長期間一緒に作っていると、
文章が綺麗に整理されすぎたり、
途中の細かい情報が消えたり、
誰が最初に言った言葉なのか分からなくなったりと、
他にもいろいろな「なんか変だ」が起きました。
それらを一つずつ切り出して観察した記録を、
「文系Qiita部」にまとめています。
この実験の元になった長文記事
今回のケースは、私がChatGPTと一緒に長文記事を制作している途中で実際に起きたことを、個別に抜き出して整理したものです。
制作過程全体は、noteの
「何も役に立たないAIに書かせた記事が5000円で売れた」
という記事に残しています。
かなり「AIで稼ぐ」系に見えるタイトルですが、これは意図的です。刺激的なタイトルから入った読者が、そのまま読み進めるとどのような内容にたどり着くのか、という実験も兼ねています。
実際の本文は「AIを使えば簡単に稼げる方法」の紹介ではありません。
ChatGPTと記事を作りながら、文章が綺麗に整理されすぎる問題、AIとの長いやり取りで発言者や時系列が曖昧になる問題、途中の思考をどう残すか、人間とAIでどこまで役割分担するか、といったことを試行錯誤した制作記録です。
つまり、タイトルの時点では中身をかなり偽装していますが、Qiitaから来る方には先にネタバレしておきます。
今回の記事を書く際には、この長文記事を制作ログ・メモとして参照しています。