はじめに

近年、AI関連の技術が急速に進化する中で、「大規模言語モデル（LLM）」という言葉を目にする機会が増えています。しかし、実際にはその意味や仕組みを理解しないまま、なんとなく知った気になってしまうことも多いのではないでしょうか。

そこで、自分（自分と同じように「大規模言語モデル（LLM）」について気になっている方々）が理解して言語化して説明できるようにするために、この記事を作成しました。

大規模言語モデル（LLM）とは

この内容については、大規模言語モデル（LLM）とはで以下のように説明されています。

大量のデータを使ってトレーニングされた基盤モデルのカテゴリーであり、自然言語やその他のコンテンツを理解および生成し、幅広いタスクを実行することができます。

要するに、大規模言語モデル（LLM）とは、AIモデルのカテゴリー名で、言語モデルの学習データセットがより大規模なものを指すようです。
なんとなくそんな気はしていたものの、他のAIモデルと何が違うのかがはっきりしていませんでした。
代表的な例としては、「ChatGPT」と「Gemini」があげられます。

学習と技術

LLMは以下のような技術、学習手法を用いて作成されています。

技術

Transformer モデル
LLMの基盤となっている、Transformer モデルと呼ばれるモデル構造です。
これは、従来の畳み込みニューラルネットワーク（CNN）と異なり、自己注意機構（Self-Attention Mechanism）を用いて、文中の単語同士の関係性を効率よく学習します。
ファインチューニング
大規模言語モデルは、プレトレーニング（事前学習）とファインチューニングの2段階の学習プロセスを経ています。
プレトレーニングでは、一般的なテキストデータを用いて、言語の基本的なルールや知識を学習します。
その後、特定のタスクに合わせたファインチューニングを行い、モデルの性能を高めています。

学習の仕組み

プレトレーニング（事前学習）
- インターネットなど、多様な情報源からテキストデータを収集します。
- 文章の一部を入力として与え、その続きに来る単語を予測する形式で進めます。
  - 例：「今日は天気が良いので、」→「散歩に行きます。」
  - 教師あり学習が用いられ、正解データ（次の単語）は元のテキストから得られます。
  - これにより、ラベル付けが不要で、膨大なデータを効率的に活用できます。
ファインチューニング
- プレトレーニングにより、言語の一般的なパターンや知識を学んでいる状態のものをベースにします。
- 特定のタスクやドメインに関連したデータを準備します。
- 教師あり学習を行います。準備したデータに対してモデルが学習し、タスクに特化したパラメータを調整します。

これらの過程を通過したモデルが最適化（圧縮や軽量化）、インターフェースの作成（APIの設計）などを経て私たちのもとにサービスとして提供されるようです。

まとめ

本記事では、LLMの基本的な意味や仕組みを簡単に説明しました。

LLMの仕組みや活用法について理解を深めることで、今後のAI技術の進展に自分自身がより深く関わり、実際に活用できる場面を増やしていきたいと考えています。

参考文献

この記事は以下の情報を参考にして作成しました。