ぼっち論文サーベイメモ2 Advent Calendar 2024

State of AI Report 2024: Research - LLM関連

Posted at 2024-12-11

State of AI Report 2024(Benaich, 2024)

生成AIモデルの性能向上と競争激化について

生成AIモデルの性能は近年著しく向上しており、それと同時に競争も激化しています。この傾向は、研究開発への大規模な投資、新しいモデルアーキテクチャの出現、そして高品質なトレーニングデータの利用の増加によって牽引されています。

性能向上の要因

スケールアップ: モデルのパラメータ数とトレーニングデータ量の増加は、パフォーマンスの向上に直接つながっています。例として、MetaのLlama 3.1 405Bは、GPT-4oやClaude 3.5 Sonnetなどのクローズドモデルに匹敵する性能を達成しています。これは、オープンモデルが初めてクローズドモデルとの性能差を縮めたケースです。さらに、OpenAIのo1は、推論計算に計算リソースを集中させることで、複雑な推論タスクにおいて他のLLMを凌駕する性能を示しています。
アーキテクチャの進化: Transformerモデルの登場は、自然言語処理、コンピュータビジョン、音声処理などの様々な分野でブリークスルーをもたらしました。 Transformerモデルは、自己注意機構を用いることで、入力データ内の重要な部分に焦点を当てることができます。これにより、長いシーケンスのデータを効果的に処理することが可能になり、複雑なタスクにおけるモデルの性能が向上しました。
トレーニングデータの改善: 大規模なウェブデータセットの利用、データクリーニング技術の向上、そして合成データの利用の増加は、モデルのトレーニングに用いられるデータの品質を向上させています。[33、34、35、36] 高品質なデータでトレーニングされたモデルは、より正確で信頼性の高い結果を生成することができます。
新しい学習手法: 強化学習 (RL) や自己教師あり学習 (SSL) などの新しい学習手法の開発と適用は、モデルの性能向上に貢献しています。例えば、RLは、モデルが環境との相互作用を通じて学習することを可能にし、複雑な意思決定タスクにおける性能を向上させています。一方、SSLは、ラベル付けされていないデータから学習することを可能にし、大規模なデータセットを活用したモデルのトレーニングを容易にします。

競争激化の現状

大手テック企業の参入: Google、Microsoft、Meta、Amazonなどの大手テック企業は、生成AI分野に積極的に投資し、独自のモデルを開発しています。[12、20、49、80] これらの企業は、豊富なリソースと専門知識を活用することで、短期間で高性能なモデルを開発し、市場競争を激化させています。
スタートアップの台頭: Stability AI、ElevenLabs、Mistral AI、Sakana AIなどのスタートアップも、生成AI分野で注目を集めています。これらのスタートアップは、ニッチな分野に特化したり、オープンソースモデルを提供したりすることで、大手テック企業との差別化を図っています。
オープンソースモデルの普及: MetaのLlamaモデルファミリーなどのオープンソースモデルのリリースは、生成AI分野の競争環境を大きく変化させています。オープンソースモデルは、研究者や開発者に広く利用されることで、イノベーションを促進し、より多様なアプリケーションの開発を可能にしています。
国際的な競争: 米国、中国、ヨーロッパなどの国や地域が、生成AI分野のリーダーシップを争っています。各国政府は、研究開発への投資、規制の整備、そして人材育成を通じて、自国のAI産業の競争力強化を目指しています。

今後の展望

生成AIモデルの性能向上と競争激化は、今後さらに加速すると予想されます。

モデルの進化: より高性能で汎用性の高いモデルの開発が進み、人間に近いレベルの知能を実現する人工汎用知能 (AGI) の実現に向研究開発が加速するでしょう。
アプリケーションの多化: 生成AIは、テキスト、画像、音声、ビデオ、コード、3Dモデルなど、様々な種類のコンテンツを生成することができるようになり、エンターテイメント、医療、教育、製造、金融など、様々な分野で応用されるでしょう。
倫理的な課題: 生成AIの利用に伴う倫理的な課題、例えば、偽情報の拡散、プライバシーの侵害、バイアスの増幅、雇用の喪失などへの対策が重要になるでしょう。
規制の強化: 各国政府は、生成AIの開発と利用に関する規制を強化し、倫理的な課題への対応、安全性の確保、そして社会への影響の抑制を図るでしょう。

生成AIは、今後ますます社会に浸透し、私たちの生活に大きな影響を与える技術となるでしょう。その進化と応用、そして倫理的な課題への対応に注目していく必要があります。

オープンソースAIモデルの現状と課題

近年、オープンソースAIモデルは目覚ましい発展を遂げており、クローズドモデルとの性能差を縮めつつあります。特に、Metaが主導するLlamaファミリーはその代表例であり、世界中の研究者や開発者から注目を集めています。本稿では、オープンソースAIモデルの現状と課題について、提供されたソースに基づいて詳細に論じます。

主要なLLMモデルの性能比較と性能差に影響する要因

近年、大規模言語モデル（LLM）は目覚ましい進歩を遂げ、様々なタスクで高い性能を示しています。しかし、LLMの性能はモデルによって異なり、その差に影響する要因は多岐にわたります。本稿では、主要なLLMモデルの性能比較と、その性能差に影響する要因について、提供されたソースに基づいて包括的に論じます。

主要なLLMモデルの性能比較

提供されたソースでは、具体的なベンチマークスコアや直接的なモデル比較は提供されていません。しかし、いくつかの主要なLLMモデルとその特徴、および相対的な性能について言及されています。

OpenAI: OpenAIは、GPTファミリー、特にGPT-4oやGPT-4o Miniで知られており、推論、数学、多言語、長文処理タスクにおいて高い性能を誇ります。特に、OpenAI o1は、他のモデルと比較して、価格とレイテンシーのプレミアムが高いものの、最高品質のモデルとして位置付けられています。
Google: Googleは、Geminiファミリーを開発しており、特にGemini 1.5 Proと1.5 Flashは、多くのベンチマークで強力な性能を示しながら、価格が大幅に引き下げられています。また、医療分野に特化したMed-Geminiファミリーも開発され、MedQAで91.1％の精度を達成し、GPT-4を上回っています。
Meta: Metaは、Llamaファミリーで知られており、オープンソースモデルのリーダーとして、クローズドモデルとの性能差を縮めています。Llama 3.1 405Bは、GPT-4oやClaude 3.5 Sonnetに匹敵する性能を示し、オープンモデルがクローズドモデルに追いついた初めての例となっています。
Anthropic: Anthropicは、Claudeファミリーを開発しており、Claude Sonnet 3.5は、推論、数学、多言語、長文処理タスクで高い性能を示しています。また、Claude Artifactsは、ブラウザ内でコードを記述および実行するコーディング環境を開く機能を提供しており、ユーザーエクスペリエンスの向上に貢献しています。
Mistral AI: ヨーロッパのLLM開発を牽引するMistral AIは、計算効率と多言語機能に優れたAu Largeモデルを開発しており、Microsoft Azureを通じて提供されています。

LLMモデルの性能差に影響する要因

LLMモデルの性能差には、様々な要因が影響しています。主要な要因は以下の通りです。

1. モデルアーキテクチャ:

Transformerアーキテクチャは、現在のLLMの主流となっており、その効率性とスケーラビリティから広く採用されています。
しかし、Transformerの代替案やハイブリッドモデルの研究も進められており、AI21のMamba-Transformerハイブリッドモデルは、知識と推論のベンチマークで8B Transformerを上回る性能を示しながら、推論時のトークン生成速度が最大8倍高速です。
今後、新しいアーキテクチャの登場により、LLMの性能がさらに向上する可能性があります。

2. データセット:

LLMのトレーニングに使用されるデータセットの質と量は、モデルの性能に大きく影響します。
大規模で多様なデータセットでトレーニングされたモデルは、より高い汎化能力と性能を示す傾向があります。
特に、高品質なWebデータや、専門分野のデータセットを用いることで、特定のタスクにおける性能を向上させることができます。
一方で、データセットの汚染は、モデルの性能を低下させる可能性があり、注意が必要です。

3. 計算資源:

LLMのトレーニングには、膨大な計算資源が必要であり、利用可能な計算資源の量は、モデルのサイズと性能に影響を与えます。
より多くの計算資源を用いることで、より大規模で複雑なモデルをトレーニングすることができ、性能向上につながります。
しかし、計算資源のコストは高く、環境負荷も大きいため、計算効率の向上や、低コストな計算資源の利用が求められています。

4. 学習アルゴリズム:

LLMのトレーニングに使用される学習アルゴリズムも、モデルの性能に影響を与えます。
教師あり学習、強化学習、自己教師あり学習など、様々な学習アルゴリズムが開発されており、それぞれに利点と欠点があります。
最近では、RLHF（Reinforcement Learning from Human Feedback）やDPO（Direct Preference Optimization）などの手法が注目されており、より人間に近い出力生成能力を実現する可能性があります。

5. ファインチューニング:

事前学習済みのLLMを特定のタスクに適応させるためのファインチューニングも、モデルの性能に影響を与えます。
LoRA（Low-Rank Adaptation）などのパラメータ効率の高いファインチューニング手法により、必要な計算資源を削減しながら、タスク特化的な性能向上を実現することができます。
特に、医療、法律、金融などの専門分野では、ファインチューニングによって、LLMの精度と信頼性を向上させることができます。

6. 評価指標:

LLMの性能は、使用する評価指標によって異なって評価されます。
質問応答、テキスト生成、翻訳、要約など、様々なタスクに対する評価指標が存在し、それぞれのタスクに適した指標を選択する必要があります。
また、客観的な評価指標だけでなく、ユーザーによる主観的な評価も重要であり、LMSYS Chatbot Arenaリーダーボードのような、ユーザー評価に基づく指標も開発されています。

7. その他の要因:

上記の要因に加えて、LLMの性能には、開発チームの技術力、研究開発への投資額、倫理的な配慮、社会的な影響なども影響を与えます。
AI倫理や安全性に関する議論の高まりを受け、LLMの開発においても、倫理的な配慮や社会的な責任が重視されるようになっています。

結論

主要なLLMモデルは、それぞれ異なる特徴と性能を持っており、その差に影響する要因は多岐にわたります。LLMの性能を向上させるためには、モデルアーキテクチャ、データセット、計算資源、学習アルゴリズム、ファインチューニング、評価指標など、様々な要素を総合的に考慮する必要があります。また、LLMの開発においては、倫理的な配慮や社会的な責任も重要であり、技術の進歩と倫理的な課題解決を両立させる努力が求められます。

LLM性能収束の要因

LLMの性能が収束しつつある要因は、以下の3つの主要な要因が考えられます。

1. モデルアーキテクチャの共通化:

ほとんどの最先端LLMはTransformerアーキテクチャを採用しており、モデル構造における大きな差異は少なくなっています。
一部の研究では、Transformerの代替やハイブリッドモデルが検討されていますが、現時点ではTransformerが主流であり続けています。

2. 大規模データセットの利用:

多くのLLM開発者が、Common Crawlなどの大規模なWebデータセットを利用しており、トレーニングデータの共通化が進んでいます。
大規模データセットへのアクセスが容易になったことで、新規参入の企業や研究機関でも高性能なLLMを開発できるようになっています。

3. 開発リソースの集中:

OpenAI、Google、Metaなどの大手企業がLLM開発に多額の投資を行っており、高度な技術を持つ人材や計算資源が集中しています。
これらの企業は、開発したモデルや技術をオープンソース化する動きを見せており、他の開発者がその成果を活用できるようになっています。
オープンソース化によって、LLM開発の障壁が低下し、様々な開発者が高性能なLLMを開発できる環境が整っています。

これらの要因により、LLMの性能が全体的に底上げされ、モデル間の性能差が縮小していると考えられます。

その他の要因

上記に加え、LLM性能の収束には、以下の要因も考えられます。

学習アルゴリズムの進化: RLHFやDPOなど、より効果的な学習アルゴリズムが開発され、多くのLLMで採用されています。
評価指標の共通化: 多くの研究者が、共通のベンチマークや評価指標を用いてLLMの性能を評価しており、モデル間の比較が容易になっています。
知識蒸留: 大規模LLMの知識を小規模LLMに蒸留する技術が進歩しており、小規模LLMでも高性能を実現できるようになっています。
量子化: LLMのパラメータ精度を削減することでメモリ要量を削減する技術が進歩しており、性能のトレードオフを最小限に抑えながら、より多くのデバイスでLLMを実行できるようになっています。

これらの要因も、LLMの性能向上と収束に貢献していると考えられます。

まとめ

LLMの性能収束は、モデルアーキテクチャの共通化、大規模データセットの利用、開発リソースの集中といった要因によって加速されています。さらに、学習アルゴリズム、評価指標、知識蒸留、量子化などの技術進歩も、LLMの性能向上と収束に寄与しています。

注意点

上記の分析は、提供されたソースに基づいています。LLMの性能収束は複雑な現象であり、上記以外にも様々な要因が考えられます。

オープンソースAIモデルの現状

1. 性能向上:

オープンソースAIモデルの性能は、近年大幅に向上しており、クローズドモデルに匹敵する、あるいは場合によっては凌駕するレベルに達しています。
例えば、Llama 3.1 405Bは、推論、数学、多言語、長文処理などのタスクにおいて、GPT-4oやClaude 3.5 Sonnetと肩を並べる性能を示しています。これは、オープンモデルがクローズドモデルとの差を埋めた初めての事例です。
また、中国のDeepSeekやAlibabaが開発したオープンソースAIモデルも、LMSYSリーダーボードで上位にランクインしており、特に数学やコーディングのタスクで優れた性能を発揮しています。

2. 多様化:

オープンソースAIモデルは、テキスト生成、画像生成、音声生成、3Dアセット生成など、様々な分野で開発が進んでいます。
例えば、Stability AIが開発したStable Video Diffusionは、テキストプロンプトから高品質な動画を生成できる最初のモデルの一つであり、カスタマイズ性も大幅に向上しています。
また、中国のTsinghua Universityが開発したCogVideoXは、テキストから動画を生成するモデルの中でも、特に優れた性能を誇っています。

3. コミュニティの活性化:

オープンソースAIモデルは、世界中の研究者や開発者からなる活発なコミュニティによって支えられています。
オープンソースモデルのコードやデータセットが公開されているため、誰でも自由に利用、改変、再配布することができます。
このオープンな環境は、AI研究の加速、イノベーションの促進、人材育成などに貢献しています。

4. モバイルデバイスへの展開:

スマートフォンなどのモバイルデバイスで動作する、高性能な小型LLMやマルチモーダルモデルの開発が進んでいます。
例えば、Microsoftのphi-3.5-miniは、7BやLlama 3.1 8Bなどの大型モデルと競合する性能を持つ3.8BのLLMであり、推論や質問応答に優れています。
また、ByteDanceのTikTokは、画像をコンパクトな1Dトークン列に量子化することで、画像の再構成や生成タスクを効率的に行うことができます。

5. パラメータ効率の向上:

LoRA（Low-Rank Adaptation）などのパラメータ効率の高いファインチューニング手法が開発され、大規模モデルをカスタマイズするコストが削減されています。
ReFT（Representation Fine-tuning）は、モデルの重みを変更するのではなく、推論時にモデルの内部表現を操作することで、その動作を制御する手法であり、重みベースのファインチューニング手法に比べて、必要なパラメータ数が大幅に少なくなります。

オープンソースAIモデルの課題

1. オープン性の定義と実践:

「オープンソース」という言葉は、重み、データセット、ライセンス、アクセス方法など、様々な側面で異なるオープン性の慣行を包含しており、その定義や実践には曖昧な部分が残っています。
例えば、一部のオープンソースモデルは、商用利用が制限されていたり、モデルのトレーニングに使用されたデータセットが非公開であったりする場合があります。
オープンソースAIモデルの真のオープン性を確保するためには、明確な定義と基準、透明性の高い開発プロセス、倫理的な配慮などが求められます。

2. データセットの汚染:

テストデータや検証データがトレーニングセットに混入するデータセットの汚染が、オープンソースAIモデルの性能評価に影響を与える可能性があります。
ScaleやX.aiの研究者は、データセットの汚染によって、一部のモデルの性能が大幅に低下することを示しています。
データセットの汚染を防ぐためには、厳格なデータ管理、独立した検証、透明性の高いデータ収集プロセスなどが求められます。

3. 評価方法の確立:

オープンソースAIモデルの性能を客観的に評価するための共通の指標やベンチマークが不足しています。
LMSYS Chatbot Arenaリーダーボードは、ユーザーによる評価に基づいてモデルの性能をランク付けしていますが、その結果が必ずしも客観的な評価を反映しているとは限りません。
また、RAG（Retrieval Augmented Generation）の評価方法も未確立であり、引用の正確性、各テキストの重要度、矛盾する情報の処理などを適切に評価することができません。
オープンソースAIモデルの性能を適切に評価するためには、客観的な指標、標準化されたベンチマーク、透明性の高い評価プロセスなどが求められます。

4. 計算資源の制約:

大規模なAIモデルのトレーニングには、膨大な計算資源が必要であり、オープンソースコミュニティにとって大きな課題となっています。
Google DeepMindは、デバイスの「島」間での通信を削減する最適化アルゴリズムであるDiLoCoを提案しており、計算資源の制約を緩和する取り組みが進められています。
しかし、計算資源の不足は、オープンソースAIモデルの開発を遅らせる要因となっており、より効率的なトレーニング方法や、低コストな計算資源へのアクセスなどが求められています。

5. 著作権問題:

オープンソースAIモデルのトレーニングに使用されるデータセットには、著作権で保護されたコンテンツが含まれている場合があり、著作権侵害のリスクがあります。
OpenAIやGoogleは、大手メディア企業とライセンス契約を交渉することで、著作権問題の解決を目指しています。
一部のスタートアップは、倫理的な認証制度を採用することで、著作権問題を回避しようとしています。
著作権問題を解決するためには、著作権者の権利を保護しつつ、AI研究に必要なデータへのアクセスを確保するバランスの取れた解決策が必要とされています。

結論

オープンソースAIモデルは、AI研究の加速、イノベーションの促進、人材育成などに大きく貢献しています。しかし、オープン性の定義と実践、データセットの汚染、評価方法の確立、計算資源の制約、著作権問題など、解決すべき課題も残されています。これらの課題を克服し、オープンソースAIモデルの可能性を最大限に引き出すためには、コミュニティ全体での協力、透明性の高い開発プロセス、倫理的な配慮、法的枠組みの整備などが求められます。