従来、自然言語処理に限らず、処理内容 = タスクごとに性能を競っていました。自然言語処理では、機械翻訳、要約、エンティティ抽出、感情分析、自然言語推論などがあげられます。

機械学習 (深層学習) を使う場合、入力とそのタスクの解の対の集合を学習に与えます。結果として、そのタスク用のモデルが作られます。

Google の T5 (Text-to-Text Transfer Transformer) は、要約、翻訳、分類などのタスクを、プレフィックスという形で入力に付加し、すべてのタスクを一緒に学習させます。予測の段階でも同様にプレフィックスによりどの処理を行うべきか指定します。

OpenAIのGPT-3は、あるテキストを与えて、その続きを書かせるシステムですが、プロンプトという形で、処理内容の指示と処理例を与えることで、タスクを実行させることができます。事例のページを見ると、例えば質問応答だと、

回答方法の指示 (知らない場合"unknown" と答えるように、など)

Q: 質問1
A: 質問1の答

Q: 質問2
A: 質問2の答

:

Q: 実際に答えを知りたい質問
A:

最後にAで止めることによって、その続きが補完されます。質問に対してその答が来ないといけないことを学習したので、補完されるのは最後の質問の答えになります。

Grammar correction (文法誤り修正) では、プロンプトとして、

Correct this to standard English:

She no went to the market.

と指示と入力文だけ与えて、結果 "She did not go to the market." を得ているので、プロンプトの中でどれだけの事例を必要としているのかわかりません。Q&Aの例でも"Q: 質問内容" と "A: " を与えるだけで答を出しますが、事例を与えたときは事例と同じ程度の長さの答になるのに対して、補足説明などある程度の長さの答になります。

Q: Where is the Valley of Kings?
A: The Valley of the Kings is located in the ancient city of Thebes in Upper Egypt. It is located on the west bank of the Nile River, near modern Luxor.

長くなりましたが、まだ処理と対象のテキストはなんとなく分離されているようです。

ChatGPTでもプロンプト内の処理の指示と対象のテキストが混在していても構いません。文法誤りの修正の例では、

She no went to the market. 正しく修正してください。

で同じ結果が得られます。

また、答の長さなど、答に対する指示も例ではなく直接指示できます。

"Where is the Valley of Kings?"の答が

The Valley of the Kings is located on the west bank of the Nile River in Luxor, Egypt. It is a royal burial ground for Pharaohs and powerful nobles during the New Kingdom period (around 16th to 11th century BC). Many famous pharaohs, such as Tutankhamun and Ramses II, were buried in the Valley of the Kings. Today, the site is a popular tourist attraction and a UNESCO World Heritage Site.

になるのに対して、

"Where is the Valley of Kings? In one sentence"の答は

The Valley of the Kings is located on the west bank of the Nile River in Luxor, Egypt, and is a royal burial ground for Pharaohs and powerful nobles.

となります。"Where is the Valley of Kings? Within 10 words." だと "The Valley of the Kings is in Luxor, Egypt."、"Where is the Valley of Kings? Within 5 words." だと"Egypt, on the Nile." となります。

このような補足的な指示をしっかりすることで、望む出力を得られるようで、様々なテクニックが紹介されています。ていねいな依頼をすると丁寧に答えるとか、スタイルにも意識的なようです。中村勇吾氏は、ラップ調でなんて指示を出しています(@yugopのツイート)。ただし中村勇吾氏だったらこのくらいの動画は簡単に作ってしまいそう。

このように処理対象と処理内容が混在できるということは、その意味を理解していることになります。少なくともそう見えます。さらには補足説明でいろいろ指示できるということは、文の長さや文体なども理解して、指示を処理に生かせるということです。まだ限界が分からない感じです。

以上、「ChatGPTについて考える」シリーズの (2) 「処理対象と処理内容」について考えてみました。