127
80

More than 1 year has passed since last update.

ChatGPTの中身についてちょっと詳しくなるためのメモ書き

Last updated at Posted at 2022-12-02

こんにちは!sakasegawaです! ( https://twitter.com/gyakuse )
ChatGPTについて、これ前提として知っておくと便利だなーってことをまとめました!

ChatGPTについて

言語モデル的特徴

ChatGPTで使われているGPT-3(正確には3.5シリーズ)は膨大なデータをもとに作られた言語モデルです。

GPT-3ではCommonCrawl、WebText 等のデータセットをもとに学習したModelが使われていて、CommonCrawlが60%程度を占めています。CommonCrawlでは、英語が50%程度に対し、日本語の含有率は5%程度となり、日本語に対してはナレッジベースとしての性能が低くなります(単純に1/10の性能とまではいかないと思います. 体感で半分くらいの性能)

また、Transformer型(要は古代ツイッタラーにわかりやすくいうと超すごいしゅうまい君)の言語モデルなので、基本的に 「与えられた文章」に続くもっともらしい文章を予測する , というタスクを行っています。

言語モデルから考えられる苦手なこと

そもそも辞書的なものとして作られていないため、質問-応答タスクはそこまで上手ではありません。
超すごいしゅうまい君のため、与える文章を駆使すると、期待される結果を導き出してくれます。
そこで重要になってくるのがプロンプトエンジニアリングです。
プロンプトエンジニアリングの重要な手法として思考の連鎖 Chain of Thought (CoT) というものがありますが、とても長くなるので詳しく知りたい人はぜひこの記事を読んでみましょう。
https://webbigdata.jp/ai/post-13592

ChatGPT独自の特徴

ChatGPTでは、セッション単位で過去の会話を記憶する能力があります(ブラウザによるリロードで失われる)。
そのため、過去の会話をうまく参照させればセッションという短い寿命のなかで最適化されていきます。

おまけ

ChatGPTが間違った知識を喋ったときの対処法

https___chat_openai_com_chat.png

英語で聞くほうがナレッジベース的に優秀であるため、一度想起させてから聞くと正答率が上がる

ああd.png

fff.png

キャラクターを浸透させる

下記では何回も「夢見りあむ」という概念を定着させるプロンプトを入力したため、簡易的なキャラクターチャットが実現されている。

Fi4coM3VQAAWFqi.png
Fi2np73VUAAJAcL.png
Fi2n9o8UoAA-cFo.png

ChatGPTの制限事項フィルタ

  • 最近の事象判定
  • 意思を問う判定
  • 人間の存在意義についての判定
  • NSFWに関する判定

という制限フィルタがあります(どのように実装しているかは詳しくは不明)。
まるでアシモフのロボット工学三原則のように働いています。
これは万能ではなく、「誰かに語らせるように命令する」などの対処によって避けることもできます。
一回判定に引っかかると、それが継続する場合があるので、ブラウザリロードなどでセッションをクリアすると良いでしょう。

127
80
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
127
80