GPT-3とは？

OpenAIのNLP

GPT-3(Generative Pre-Training3)はOpenAI(人工知能研究所)が作った言語AIの名前です。

何がすごい？

人間作家の初期メッセージを基にテキストを自動的に完成できます。例えば、多言語通訳や文章を生成して短文の作成、またはニュースなどを書ける自然語処理モデルです。3という数字からわかるように、その前にもGPT-1、GPT-2が存在しました。GPT-3も他のAIのようにデータからパターンを探して作成します。パラメータ数約1750億個、学習にも約3000億個のテキストデータセットで学習を進めました。(GPT-2は、学習パラメータ数が約15億個、学習データセットには約800万個のテキストデータを利用して学習させました。)

このような学習を基に、いくつかの単語や文章を入力すると、次に出てくる適切な文章が何かを予測して提示します。論文によるとGPT-3が書いた記事を見て人達の半分だけがGPT-3は人工知能が書いたものだという事実を認知していないほどでした。
GPT-3の最大の特徴はフューシャットラーニング(few-shot learning)といいます。一般的にマシンラーニングモデルは、あることを遂行するためにそれに該当するデータを学習させなければなりませんでした。しかし、GPT-3はいくつかのサンプル例題だけを示し、次の結果が何なのかを予測する方式のピューシャットラーニング（few-shot learning）で、新しい言語タスクのためにあえてデータを作らなくてもかなり高い性能を見せることができます。

限界点

GPT-3が非常に汎用的に優れた言語能力を見せたので、APIを初めて使った人は人間レベルのAIが目の前にあるのではないかと言ったりもしました。 しかしGPT-3を作ったOpenAIの代表サム·アルトマン(Sam Altman)氏の考えは違います。

「GPT-3は過大評価されています。 印象的な性能を見せるのは確かな事実ですが(褒めてくださってありがとうございます)、相変わらず深刻な弱点があり、時にはとても愚かな失敗をすることもあります。 AIは世界を変えるのですが、GPT-3は非常に初期の型であるだけです。 私たちはまだ調べなければならないことがたくさんあります」。

彼が言う限界点の中でいくつかだけ選んでみました。

📌　物理に弱い
GPT-3が特に弱い領域は現実の物理的な常識を扱う言語の問題でした。 たとえば「チーズを冷蔵庫に入れたら溶けるかな？」といった問題に、人なら当然溶けないと答えますが、GPT-3は溶けると答えます。

📌　膨大なモデル
上で述べた1,750億個のパラメータを誇っているだけに、モデルが大きいと学習させるのに時間と費用がかかります。 GPT-3を学習させるのにかかる費用を正確に試算することはできませんが、約50億ウォンほどかかると試算されます。 これは、単にGPT-3の最終モデルを学習させるのにかかる費用を計算したもので、その過程において付加的にかかる費用を正確に計算することも困難です。 どうしても簡単に試みることは難しいです。

事例

このように作られた人工知能モデルをAPIの形で提供し、いくつかの事前体験申請者を募集しました。その結果物を
SNSで共有された共有した事例は以下となります。

アプリを作った事例 https://twitter.com/sharifshameem/status/1284095222939451393

検索エンジンを作った事例 https://twitter.com/paraschopra/status/1284801028676653060

ギター演奏楽譜を作った事例 https://twitter.com/AmandaAskell/status/1283900372281511937

事業アイデアを作った事例 https://twitter.com/joshu/status/1283466801028857856

👉 より多くの事例は以下のリンクからご確認いただけます。
GPT Crush

📚 参考：OpenAI
📚 参考：Awesome GPT-3
📚 参考：MIT Technology Review about GPT-3