はじめに
ここ最近はMicrosoftのPhi-2はじめ、小規模言語モデルが話題になってますね。
そのあたりはまた別記事にする予定ですが（下書きで温めてる）、本記事ではMetaのLLM、Opensourceの筆頭とも言えるLlama 2について書いていこうかなと。
概要
・Llama 2とは、Meta社が2023年7月に公開したオープンソースのLLM
・本記事ではパラメータ数をもとに、Llama 2と他LLMを比較してみた
Llama 2のパラメータ数
それでは、主役のLlama 2から。
Llama 2はパラメータ数の異なる、3種類のmodelがあります
- 7B（70億）
- 13B（130億）
- 70B（700億）
このパラメータ数の分だけmodelがトレーニングされているので、基本的に各modelの性能と考えても間違いではないです。
※パラメータ数だけが各modelの性能を決めるわけではない、という話は、ここではしれっと割愛…
パラメータ数が増加してくると、modelが肥大化する、計算コストがかかる、といったデメリットもあります。
「大きければ大きい方がいい！」という単純な話ではないということですね。
何のためにそのmodelを使いたいのか？、をハッキリさせた上で、使うmodelを決めるとよさそうです。
他LLMとの比較
ということでパラメータ数はあくまで一つの数値でしかないですが、とはいっても、そのmodelの性能を推し量る指標でもあります。
ということで、他LLMのパラメータ数と比較して性能を考えてみたいと思います。
OpenAIのパラメータ数
生成AIを牽引しているOpenAIは、パラメータ数を公表していません。
性能をもとに推定された数字ではあるのですが、おおよそ下記のパラメータ数でトレーニングされていると言われています。
- GPT-4：100兆
- GPT-3：1,750億
- GPT-2：15億
- GPT-1：1.17億
様々な報告でLlama 2の性能が評価されていますが、パラメータ数だけを見ればOpenAIのGPT-4の方が文字通り桁違いなトレーニングが行われていることがわかります。
ただし、このパラメータ数はあくまで非公表のデータなので、この数値だけをもとに判断するのは避けた方がよさそうです。
Geminiのパラメータ数
Googleが展開しているGemini。
記事執筆時点で3つのmodelがあります。
- Gemini-Ultra：1.6兆
- Gemini-Pro：500億
- Gemini-Nano：32.5億
2024年初頭から使用できるとされているGemini-Ultraは、まだ十分な評価を受けていません。
辛口評価を受けているGemini-Proは500億と、Llama 2（70B）と比べると同程度といった感じでしょうか。
トレーニング数だけを見るとOpenAIからビハインドといった感じですが、Googleの各サービスとの連携/親和性もあったりと、総合的に判断した方がよさそう。
まとめ
非公開とはいえ、GPT-4のパラメータ数が際立っている感じでしょうか。
とはいえ、、
業務でGPT-4を使っている自分としては、単純にパラメータ数だけではなく、スピードやカスタマイズ性も含めた総合点で判断したいです。
RAGやFinetuningのしやすさなんかも重要だったりします。
パラメータ数を一つの指標として、トータルでどうか？、を見ていきたいところです。
ちなみに、冒頭で話題に上げた軽量な言語モデルは、LLMにはやりづらいところをパワーアップ＆補完してくれると思います。この辺はまた別記事で取り上げますね！