「大規模言語モデル」について深掘りする前に、今回はまずは「言語モデル」そのものが何なのか、その概念から理解しましょう。

言語モデルとは、文章の表現が自然な表現であるかを計算できる仕組みのことです。
具体例で考えてみましょう。

「私は今日、お昼に[　　　　]とランチしました」という文があるとします。

この空欄に「家族」や「友人」を挿入すると自然な文章になりますが、「エイリアン」や「ロボット」だとちょっと違和感を感じるのではないでしようか。我々が普段から様々な文章を読み取る中で、どのような文章が自然なのかという感覚を持つことができるのです。これが私たち一人一人が持っている『言語モデル』です。

(「私は今日、お昼にエイリアンとランチしました。」のイメージ)

昔は、限られた文章の範囲から自然さを判断するシンプルな言語モデルも存在しましたが、それでは全体の文脈を捉えることが難しかったのです。

そこで、より多くの文脈を把握し、どのような文が自然なのかをより精度高く判断するために、「大規模言語モデル」が誕生しました。これが「大規模言語モデル」の意味となります。

今回は以上です。

(挿絵は私がStableDiffusionで書きました。自由に再利用してください。)

使わなかった挿絵はリンクのみここに貼り付けておきます。自由に再利用してください。