ナレッジコミュニケーションでマーケティング業務に携わっている矢澤です。
この記事は株式会社ナレッジコミュニケーションが運営する クラウドAI by ナレコム Advent Calendar 2023 の19日目にあたる記事になります！
はじめに
ChatGPT以外にどんな最新のLLMがあるのか、その概要/特徴をBingAIに聞いてみました。大規模言語モデル（LLM）は、大量のテキストデータから学習し、人間のような文章を生成できるAIモデルの一種です。
結果
ChatGPT以外のLLMについて調べてみましたところ、以下のような結果が得られました。
LLaMA（Large Language Model Meta AI）
Meta Platformsの研究機関Meta AIが開発したLLMです。LLaMAは4種類（パラメータ数70億、130億、330億、650億）のサイズがあり、それぞれ1兆個あるいは1兆4000億個のトークン（単語、単語の断片単位）で学習しています。特に注目すべきは、130億パラメータの「LLaMA-13B」がシングルGPUで動作し、しかも「ほとんどのベンチマークで（1750億パラメータの）GPT-3を上回った」（Meta）ということです。
LLaMAとGPT-3の違い
開発者: LLaMAはMeta Platformsの研究機関Meta AIが開発したもので、GPT-3はOpenAIが開発しました。
パフォーマンス: LLaMAの13Bモデルは、GPT-3よりも圧倒的に少ないパラメータ数でGPT-3と同等の性能を示しました。
ハードウェア要件: GPT-3はAIに最適化したアクセラレータを複数台使わなければ動作しないのに対し、LLaMA-13Bは単体GPUでも問題なく動作しました。これにより、コンシューマーレベルのハードウェア環境でもChatGPTのようなAIを動かせる可能性があります。
学習データ: GPT-3.5モデルの学習データは、Llama 2の学習データよりも多いです。
創造性: Llama 2は家族向けのコンテンツを生成しますが、その分創造性が低下します。この言語モデルを使用して物語や詩を生成しようとすると、GPT-3.5モデルと比較して創造性の低い作品ができあがります。
安全性: Llama 2言語モデルは、GPT-3.5よりも安全な出力を生成します。
参考：「ラマ2 Vs OpenAIのChatGPT：どちらが優れているか？」https://textcortex.com/ja/post/llama-2-vs-chatgpt
FlexGen
スタンフォード大学やUCバークレーなどの研究者が開発した高スループットの生成エンジンです。「高価なシステムではなく、単一のコモディティGPUなど低コストのハードウェアで、新しいアプリケーションを可能にすることを目指す」と説明されています。
参考：https://arxiv.org/abs/2303.06865
FlexGenとGPT-3の違い
開発者: FlexGenはスタンフォード大学やUCバークレーなどの研究者が開発したものです。
ハードウェア要件: GPT-3はAIに最適化したアクセラレータを複数台使わなければ動作しないのに対し、FlexGenは単体GPUでも問題なく動作します。これにより、コンシューマーレベルのハードウェア環境でもChatGPTのようなAIを動かせる可能性があります。
パラメータ圧縮とオフロード: FlexGenは、LLMのパラメータを圧縮してオフロードすることで、GPUメモリ使用量を削減し、レイテンシーとスループットを最適化します。
モデルの互換性: FlexGenは、GPT-3やOPT-30Bなどの様々なLLMに対応しており、簡単に切り替えることができます。
参考：「FlexGenの魅力と使い方：GPT-3やOPT-30Bを手軽に試せるエンジン」https://note.com/masayuki_abe/n/n76d3e0edd9b2
ナレッジコミュニケーションでは「Musubite」というエンジニア同士のカジュアルトークサービスを利用しています。
生成 AI 技術を使ったプロジェクトに携わるメンバーと直接話せるサービスですので興味がある方は是非利用を検討してください！