これまで、「ChatGPTについて考える」の一連の投稿で、ChatGPTが言語学で対象としてきた範囲のどれだけをカバーされているのかを考察してきました。単語(3)とオントロジー (辞書知識体系)(1)、論理(4)、語用論その他(5)、主要なところはすべてカバーされているようにみえます (統語論、意味論については洞察するまでもないと思い項目をあげていません)。しかも、処理対象と処理内容を適切に分離でき(4)、処理内容を適切に意味解釈し、語用論で示したように直接的ではない指示をくみ取って処理を行えるように見えることから、これってもうAGI (汎用人工知能) じゃね? と考えるのも理解できます。

それではこれからChatGPTとどう向き合っていけばよいのでしょうか。

ここには、ChatGPTの能力を認めて使う、使い倒すという立場と、メカニズムを調べるという立場が考えられます。

それぞれ考えていきたいと思います。

使う立場

もっと知識を蓄える

今でも十分使えているように見えますが、規模を大きくする = もっと知識を蓄えることでさらに有用なものにすることができると思います。与える知識を精査する必要があるので、ここはOpenAIに任せるのではなく、コンソーシアムや標準化団体が主導する必要があるかもしれません。Wikipediaのようなオープンなクラウドソーシングではガバナンスが十分でない恐れがあります。

知識の中には、オントロジー (辞書的知識) も必要と思います。(1) 記号処理と単語ベクトルのところで、「これまで構築した語彙体系が使えないことになりました。ChatGPT (GPT) で上位下位関係を教えていけばよいのかもしれません」と書きましたが、、「シャーロット王女は子どもである」という辞書的知識を使っている [(4) 論理] のですから、「〜は〜 (の下位概念) である」と言うような知識をため込んでいくといくということです。オントロジーのようにきっちりした体系でなくても、このような関係の集合体があれば使えるものと思います。

答え方を教える

一方、知らないことに関しては嘘を言うということがChatGPTの欠点として認識されていて、それに関してはGPT-3の時と変わっていないようです。

私自身はよく知っているけれども、ChatGPTは知らないであろうことを聞いてみました。→　うえぶろぐ.info BizTech 「ChatGPTで遊ぶ (1) エゴサーチ」

「知らないことは知らないと言ってよいです」と補足しても量が減るだけで根幹は変わっていませんし、エビデンスを示せと言ったら次から次にうそのURLを提示してきました。

やり方はわかりませんが、学習方法を改めないといけないと考えます。

メカニズムを調べる

GPTの内部動作、メカニズムを分析することが、我々の認知過程の理解につながらないかと思います。

画像処理で深層学習が主流になる前は、特徴量をどう定義するかということが性能競争の中心だったと思います。一方、深層学習では特徴量も深層学習で勝手に学習されることになり、規模のレースに写っていったと思います。その中で、中間層のパターンを解釈して、このニューロンは入力のこのパターンになんとなく反応しているみたいな解釈が試みられています。

言語においても、Transformerを使ったBERTが各タスクのリーダーボードを席巻しました。BERTを使う競争の中で、その中身を分析する研究もありました。[Jawahar+ 2019 では、レイヤーの浅いところに浅い知識、深いレイヤーに構文など深い知識を保持しているようだという分析をしていました。

BERTやChatGPTの基本メカニズムであるAttentionが確率付きAssoc Listみたいなものだとすると、単語を読み進める上において、Attentionの重みがどう変わっていくかを分析することが考えられると思います。Attentionの重みを分析しているものはありましたが、それを我々の認知過程とつなげて、既存の理論体系との結び付けて説明ができれば、我々の認知過程の解明にもつながると思いますし、既存の理論体系にとっても理論の強化につながると思うのです。

また、新しい知識を加わった時にそのAttentionの変わり方がどう影響を受けるのかも興味があります。

昔LRパーサーを知ったときに、次にくる単語を予測し、そしてその単語によって次の単語を予測しながら文を読む、我々の認知過程とつながるところがあるなとぼんやり思っていたことを思い出しました。

さらにその昔、構文解析のあいまいさ (ambiguity) 、慣用句など例外的な構文、単語選択のあいまいさ (vagueness) をスコアつきの木構造みたいなものでまとめて扱える枠組みがないかな、と夢想したことがあります。そのときはルールと辞書をベースにする枠組みから離れられませんでしたが、多くの例を学習すればよいというGPTのやり方をみて、こういう形で実現されるんだという感慨をもっています。