GPTs are GPTs 論文について
2023年3月17日にChatGPTを開発するOpenAIから
「GPTは汎用技術（General Purpose Technology）である」 として、
その労働市場への影響を調査した論文が発表され大きな反響を呼びました。
汎用技術の例としては蒸気機関や活版印刷が挙げられ、
技術自体とその幅広い応用によって社会に重大な影響を与えるものとされます。
この論文では、大規模言語モデル（LLM）の最新版であるGPT-4を使い、
50%以上効率化できる仕事の割合を調べています。
その方法は
- LLM（大規模言語モデル）の出力に詳しい人間が
- 政府統計で使われる職業とタスク定義を元に
- LLMを使った場合に、LLM未使用時と同じクオリティで50%以上時間を短縮できると思うかを判定
という多分に主観的な基準ではあるものの、GPTに詳しい人が確認しているなら、
今後の可能性を見る上では有用です。
さらにLLMを使った場合については、
- LLMをChatGPTからのみを利用した場合
- 1に加えて、LLMを応用したアプリケーション を利用した場合
の2段階が想定されています。
知りたかったことは見つからず
個人的には、今の仕事への直接的な影響度合いが知りたく、
ソフトウェアエンジニアの具体的なタスクに対して、
どれが50%以上効率化すると判定されたかが気になって読んでいました。
ですが、論文では給与別、参入障壁別といった全体傾向と、
いくつかの職業での影響度合い程度しか書かれておらず、
知りたかった詳細な調査結果は載っていませんでした。
9つのLLM応用例
予想外におもしろかったのは、50%効率化の2段階目として、
ChatGPT単体ではなく、LLMを応用したアプリケーションによって時間を半減できるかが判定され、
その LLM応用例が9つ書かれていたことでした。
※原文では additional software that could be developed on top of the LLM that would reduce the time it takes to complete the task by half
LLM応用例として挙げられていたのは以下の9つです
- 2000文字以上のドキュメントを要約する。それをベースに質問に回答する
- インターネットから最新の情報を取得して組み合わせる
- 組織に蓄積された知識、データ、ドキュメント等を取得する
- 高度に専門的な分野の知識を取得する
- LLMに何を与えたらよいアウトプットが出るかレコメンドする
- 情報を分析して意思決定を助ける
- 高度に専門的な分野のトレーニングのための素材を生成する
- 問題に対して助言する
- 複雑なデータベースを取り扱う
LLMや機械学習の専門家ではない自分としては、
開発元のOpenAIが挙げている応用例は今後の展開をイメージするために役立ちます。
これらは技術の本質的な制約ではなく、
早期に実現できるものとして想定しておく必要があると思います。
以下はそれぞれの簡単な考察です。
1. 2000文字以上のドキュメントを要約する。それをベースに質問に回答する
※引用部分は原文。その下は自分の考察
Summarizing documents longer than 2000 words and answering questions about those documents
GPT-4でも文字数制限は緩和されたが、今後も性能は継続的に上がっていくということ。
2. インターネットから最新の情報を取得して組み合わせる
Retrieving up-to-date facts from the Internet and using those facts in combination with the LLM capabilities
Bing AIでは既に実現されているもの。
3. 組織に蓄積された知識、データ、ドキュメント等を取得する
Searching over an organization’s existing knowledge, data, or documents and retreiving information
Embeddings APIを利用して、ドキュメントをベースに回答するチャットボットの例が増えてきている。
ChatGPTプラグインもこれに近いか。
4. 高度に専門的な分野の知識を取得する
Retrieving highly specialized domain knowledge
現時点でも各種試験の成績を見るに知識レベルは高いが、それを専門分野にも応用できるということ。
市場価値が高いと今までは言われたような知識が、LLMに大部分が代替されていくのか。
5. LLMに何を与えたらよいアウトプットが出るかレコメンドする
Make recommendations given data or written input
プロンプトエンジニアリングが流行っているが、それ自体もレコメンドしてくれると確かに助かる。
使う人によるアウトプットの差を埋められると、さらに社会への影響は大きくなりそう。
6. 情報を分析して意思決定を助ける
Analyze written information to inform decisions
要約してくれるだけでも意思決定を助けることにはなるが、
メリット・デメリットや各種フレームワークに基づいた分析をしてくれるということか。
ChatGPT単体との差異があまりわからず。
7. 高度に専門的な分野のトレーニング素材を生成する
Prepare training materials based on highly specialized knowledge,
生成の応用例。ChatGPT単体でも試験問題を作ったりするのは簡単にできるが、これは4の専門知識習得と組み合わせるイメージか。
8. 問題に対して助言する
Provide counsel on issues
今だとアドバイスのようで、一般的なことを並べているだけに見えることはある。
それが応用だと実際の問題を踏まえた具体的なアドバイスになるのか。
9. 複雑なデータベースを取り扱う
Maintain complex databases
ちょっとイメージがつかず。
ChatGPT pluginsのようにAPIでDB操作をするということなのか。