LoginSignup
13
25

More than 1 year has passed since last update.

@aokikenichi(青木 健一)

大規模言語モデル(LLM)とそれまでの技術の流れを入門用にまとめた

Posted at

大規模言語モデル系があまりに研究が早く、かといってインパクトから考えると無視もできずフォローするために自分用にまとめました。
すでに多数の良記事がありますが、入門用にしては細かすぎて俯瞰ができない、概要すぎて次に進めない記事が多かったので、入門から次に進むステップまでとして書いてみました。（あとMermaidで手軽に作図できるとのことでその練習用！）

技術の流れ

  • ざっくりとした流れ
  • もう少し細かな流れ

word2vec以前

  • TF-IDF
    • 単純に文書内の単語の頻度を数えると、特定のトピックだけで出て来る単語、どの文書でも出て来る単語などがある。
      • 文書の要約、分類などであれば特定のトピックだけで出て来る単語とその文書でも出て来る単語の頻度は分けて考えた方が良い。
    • TFをある単語の文書内での出現頻度、IDFをある単語が出て来る文書数の頻度の逆数とする。
      • TF掛けるIDFにより、特定のトピックで頻度が多く他のトピックでは頻度が小さい単語を抽出できるようになる
    • Qiita記事TF-IDF
  • n-gram
    • 語のつながりを2文字、３文字、…とカウントしてその頻度を集計する≒単語のつながりを見ていく考え方。
    • Qiita記事N-gramの作り方

word2vec以降の技術、LLM

  • ざっくり歴史
    • LSTMはword2vec以前からあったが、データ数の問題、計算資源の問題からなかなか実装できなかった。
    • 昨今のWebデータや計算資源の低コスト化、あるいは深層学習研究の進展によって一気に自然言語研究が進んだ。
    • word2vecの革命！により、言語を数値で扱えるようになり、LSTMを初め深層学習が進んだ。
    • Transformerにより暗中模索から進むべき道ができ、研究が急加速中。
概念 ざっくり言うと Qiitaでの解説記事 元論文 公式サイト, GitHub
1997 LSTM 従来のRNNを改良し長期記憶を可能にした。
長い単語の列=文章として把握できるようになった（ただ、attentionを待つまでは長期記憶が難しかった。		 Long short-term memory -
2013 word2vec/Google 単語の意味を理解したいができないので頻度等を見ていた
→word2vecは単語をベクトルで表現できる
→ベクトルの近さで意味の近さを
→擬似的にだがコンピュータが単語の意味を理解できるようになった 		Word2Vecを理解する Efficient Estimation of Word Representations in Vector Space -
2017 Transformer (Attention) /Google RNNによるエンコーダー・レコーダーモデルはいいが、遠いところにある単語の意味は忘れてしまう
→attentionとはある単語を理解するときにどの単語に「注意！」したらよいかの重み付けを行うこと
→RNNやCNNなしでattentionのみで過去のモデルを凌駕。以降のモデルのベースとなっている		 深層学習界の大前提Transformerの論文解説！ Attention is All You Need -
2018 BERT/Google Transformerをベースとしている
穴埋め問題、次の語問題を自分で学習し、ジャンルを問わないファインチューニング可能なモデルを作成
→以降の大規模言語モデルの流れを作った 		自然言語処理の王様「BERT」の論文を徹底解説 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding GitHub:google-research/bert
GPT-1/OpenAI Transformerをベースにし、事前学習と転移学習を実施。自然言語処理で多くの成果。 ここまでのGPTの流れを振り返る。 Improving Language Understanding by Generative Pre-Training -
2019 GPT-2/OpenAI 学習量、パラメーターを増強。 同上 Language Models are Unsupervised Multitask Learners OpenAI API / GitHub:openai/gpt-2
2020 GPT-3/OpenAI GPT-2をさらに増強。ほぼ人間の文章と話題に。 同上 Language Models are Few-Shot Learners OpenAI API / GitHub:openai/gpt-3
2022 GPT-3.5/OpenAI GPT-3.５をさらに増強。 ここまでのGPTの流れを振り返る。 OpenAI API
PaLM/Google 会話重視だったLaMDAに文章生成等を増強
GPT-4/OpenAI GPT-4をさらに増強。 同上 GPT-4 is OpenAI’s most advanced system, producing safer and more useful responses
PaLM2/Google PaLM2 Technical Report PaLM2のご紹介

LLMの大きな３つの種類

従来は大量の自然言語文書を学習データとして、エンコーダー（文書から抽象的な概念を学習）し、デコーダー（抽象的な概念から自然言語にもどす）ということが必要だった。それぞれに特化、両方ができる系統にモデルが進化している。

LLMの進化系統樹
出所: The Practical Guides for Large Language Models

その他参考になる記事

Web Sevices

Web Services 概要 Qiitaでの解説記事 公式サイト
2022 ChatGPT/OpenAI GPT-3.5をベースとし、会話ができるUIを公開 ここまでのGPTの流れを振り返る。 ChatGPT
Bing AI Chat/Microsoft GPT-4を使用。情報提供を主眼。 Bing AI Chat
2023 Bard/Google PaLM2を使用 【ChatGPTのライバル】Google Bard とは Bard

学習コンテンツ

Webコンテンツ

  • LLMをPythonで扱う
    • Hugging FaceのNLP Course
      • LLMのモデル等を集めたHuggingFaceが提供しているコンテンツ。
      • 自然言語の基礎からLLMの取り扱いをTransformers（TransformerではなくてLLM等を扱うための自然言語処理ライブラリ）を用いて基礎から学べる
  • プロンプトエンジニアリング
    • Chat系AIから得たい回答を得るための質問し方のテクニック
    • Prompt Engeering Guide
      • 日本でChatGPTに対するプロンプトエンジニアリングに関する基礎が学べる

書籍

LLMの進化が早く正直書籍は追いついていない感じだが、書籍でじっくり学びたい方向け。

13
25
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
13
25