State of AI Report 2024(Benaich, 2024)
資料内で言及されているOpenAIの動向
提供された資料に基づいて、OpenAIの動向について詳しく説明します。
1. 圧倒的な性能を誇るOpenAI o1の登場
- 2024年、OpenAIはo1をリリースしました。これは、従来のGPT-4oを凌駕する推論能力を備えた、非常に強力な大規模言語モデルです。
- o1は、推論計算に重点を置くことで、複雑なプロンプトを段階的に処理し、連鎖的な思考（COT）スタイルで推論を行います。さらに、強化学習を用いてCOTとその戦略を強化することで、従来のLLMが苦手としていた多層的な数学、科学、コーディング問題を解決することを可能にしています。
- o1はAIME2024（数学競技）で83.83という驚異的なスコアを記録し、GPT-4oの13.4を大きく上回るなど、推論重視のベンチマークで大幅な改善を示しました。
- 一方で、o1はGPT-4oと比べて3〜4倍のコストがかかり、応答速度が遅いという欠点もあります。また、画像入力や関数呼び出しには適していません。
2. OpenAIとMicrosoftの提携による影響
- OpenAIはMicrosoftと密接な関係を築いており、MicrosoftはOpenAIの主要な出資者となっています。
- この提携により、OpenAIはMicrosoft Azureを通じてo1などのモデルを広く提供できるようになり、Microsoftは自社の製品にOpenAIの技術を統合できるようになりました。
- 一方で、この提携は反トラスト法の観点から規制当局の監視下に置かれており、OpenAIとMicrosoftの市場支配力を懸念する声が上がっています。
3. OpenAIの安全性への取り組みとリーダーシップの変遷
- OpenAIはAIの安全性に関する研究にも力を入れており、AI Safety Institute（AISI）に次世代モデルへの早期アクセスを提供するなど、政府機関との協力も進めています。
- しかし、2023年11月にサム・アルトマンCEOが解任されるという事件が発生し、OpenAI内部の安全性に関する意見の相違が表面化しました。
- アルトマンCEOはその後復帰しましたが、この事件はOpenAIの安全性への取り組みと組織運営に課題があることを示唆しています。
- さらに、2024年にはCTOミラ・ムラティ氏、チーフリサーチオフィサーのボブ・マグルー氏、リサーチ担当副社長（トレーニング後）のバレット・ゾフ氏など、主要な幹部が相次いで退任しました。
4. オープンソースAIとの競争激化
- MetaがリリースしたLlama 3ファミリーは、オープンソースモデルとして初めて独自のフロンティアモデルと性能面で肩を並べるようになりました。
- Llama 3.1 405Bは16,000基のH100 GPUで学習され、GPT-4oやClaude 3.5 Sonnetに匹敵する推論、数学、多言語、長文コンテキストタスクの性能を実現しました。
- さらに、MetaはLlama 3.2でマルチモーダル機能を搭載し、オープンソースモデルの可能性を大きく広げました。
- OpenAIはo1で性能面での優位性を保っていますが、オープンソースモデルの進化はOpenAIにとって大きな脅威となっています。
5. AIの安全性と倫理に関する課題への取り組み
- OpenAIは、RLHF（人間のフィードバックに基づく強化学習）を用いてモデルの安全性と倫理性向上に取り組んでいますが、偏ったフィードバックや事実と異なるプロンプトに影響されやすいなど、課題も残っています。
- OpenAIは、これらの課題に対処するため、DPO（直接選好最適化）や他の直接アライメントアルゴリズムなどの新しい技術を研究しています。
- また、モデルの解釈可能性を高めることで、AIの意思決定プロセスを理解し、潜在的なバイアスやリスクを特定しようと試みています。
まとめ
OpenAIは、o1のリリースによりAIの性能を新たなレベルに引き上げましたが、オープンソースAIとの競争激化、安全性と倫理に関する課題、リーダーシップの変遷など、多くの課題に直面しています。
OpenAIの今後の動向は、AI技術の進歩だけでなく、AIを取り巻く社会全体の倫理観や規制のあり方にも大きな影響を与える可能性があります。
OpenAIのo1：強みと弱み
情報源によると、OpenAIのo1は、推論計算能力の強化によって、従来のLLMでは困難であった複雑な問題解決を可能にした、革新的なLLMです。しかし、その一方で、コストやレイテンシーの高さ、特定タスクへの不向きさなど、いくつかの弱みも抱えています。
o1の強み
- 高度な推論能力: o1は、Chain-of-Thought（COT）スタイルを採用し、段階的な思考によって、複雑な問題を解決できます。これは、強化学習を用いてCOTとその戦略を強化することで実現されています。 従来のLLMが苦手としていた、多層的な数学、科学、コーディングの問題において、o1は目覚ましい成果を上げています。 特に、数学競技AIME 2024では、GPT-4oのスコアが13.4であったのに対し、o1は83.83という驚異的なスコアを記録しています。
- 複雑なコード生成: o1は、複雑なコードを短時間で生成できる能力も備えています。ある事例では、博士課程の学生が1年間かけて開発したコードを、o1は約1時間で再現しました。 このように、o1は高度な推論能力とコード生成能力を組み合わせることで、ソフトウェア開発などの分野において大きな可能性を秘めています。
o1の弱み
- 高コストと高レイテンシー: o1は、その高度な推論能力を実現するために、膨大な計算リソースを必要とします。その結果、GPT-4oと比較して3〜4倍のコストがかかります。 また、o1は複雑な思考プロセスを実行するため、応答速度が遅くなる傾向があります。 これらのコストとレイテンシーの高さは、o1の実用化における大きな課題となっています。
- 特定タスクへの不向きさ: o1は、すべてのタスクにおいて最適なLLMではありません。OpenAIのAPIドキュメントによると、o1は、高速な応答、画像入力、関数呼び出しを必要とするタスクには適していません。 o1は、推論能力を重視した設計となっているため、これらのタスクでは、他のLLMの方が優れている場合があります。
- 空間推論の苦手: o1は、チェスなどの空間推論を必要とするタスクにおいては、まだ十分な能力を発揮できていません。 これは、o1の設計が、言語ベースの推論に最適化されているためと考えられます。
結論
o1は、高度な推論能力によって、LLMの可能性を大きく広げるLLMですが、コストとレイテンシー、特定タスクへの不向きさ、空間推論の苦手など、いくつかの弱みも抱えています。これらの弱みを克服し、コストパフォーマンスを向上させることが、o1の普及に向けた今後の課題となるでしょう。
資料内で言及されているGoogleの動向
提供された資料に基づいて、Googleの動向について詳しく説明します。
1. Gemini：マルチモーダル機能を強化したAIモデル
- Googleは、マルチモーダル機能を強化したAIモデル Gemini を発表しました。Geminiは、テキスト、画像、音声、動画など、様々な種類のデータを統合的に理解・生成することができます。
- Geminiは、医療分野においても高い性能を発揮しており、Med-Gemini ファミリーとして展開されています。Med-Geminiは、Gemini Pro 1.0と1.5をベースに、様々な医療データセットを用いてファインチューニングされており、ウェブ検索による最新情報も組み込まれています。Med-Geminiは、医療知識に関するベンチマークであるMedQAで91.1%の精度を達成し、GPT-4を凌駕する成績を収めています。
2. AIチップ開発とNVIDIAへの依存軽減
- Googleは、AIワークロードを効率的に処理するために、独自のAIチップ TPU (Tensor Processing Unit) を開発してきました。TPUは、大規模なAIモデルの学習や推論に最適化されており、GoogleのAIサービスの基盤となっています。
- さらに、Googleは、Armv9アーキテクチャに基づく汎用プロセッサ Axion を発表しました。Axionは、現在利用可能な最速の汎用Armベースインスタンスよりも30%高い性能を実現し、クラウドを通じて提供される予定です。
- Googleは、TPUやAxionなどの独自のハードウェア開発を進めることで、AIチップ市場におけるNVIDIAへの依存を軽減し、コスト削減と性能向上を目指しています。
3. オープンソースAIへの貢献とコミュニティとの連携
- Googleは、大規模言語モデルの学習に用いられるデータセット C4 を開発し、オープンソースとして公開しています。C4は、Common Crawlから収集されたウェブページをフィルタリング・処理したもので、高品質なテキストデータを提供しています。
- また、Googleは、機械学習モデルの開発・共有プラットフォームである Hugging Face とも連携しており、Hugging Face上で様々なAIモデルやツールを提供しています。
- Googleは、オープンソースAIに積極的に貢献することで、AI技術の普及と発展を促進し、AIコミュニティとの連携を強化しています。
4. AIの安全性と倫理に関する研究開発
- Googleは、AIの安全性と倫理に関する研究開発にも力を入れており、Google DeepMind を中心に様々な取り組みを進めています。
- 例えば、大規模なAIモデルの学習に必要な計算量を削減するための分散学習アルゴリズム DiLoCo や、学習データの効率的な選択手法 JEST を開発しています。
- また、AIモデルの解釈可能性を高めるためのツール Patchscopes や、AIモデルの安全性評価のためのベンチマークデータセット LongFact を開発しています。
5. グローバルなAI規制への対応
- Googleは、EUのAI規制 AI Act や、米国の Executive Order 14110 など、世界各国で進むAI規制への対応を進めています。
- Googleは、AIの安全性と倫理に関する原則を策定し、AIの開発と利用に関する透明性を高める取り組みを行っています。
- また、政府機関や国際機関と協力し、AIガバナンスの枠組み作りにも積極的に参加しています。
まとめ
Googleは、Geminiなどの高性能なAIモデルの開発、AIチップの開発によるNVIDIAへの依存軽減、オープンソースAIへの貢献、AIの安全性と倫理に関する研究開発、グローバルなAI規制への対応など、様々な分野で積極的な取り組みを進めています。
Googleの今後の動向は、AI技術の進歩だけでなく、AIが社会に及ぼす影響や、AIガバナンスのあり方にも大きな影響を与える可能性があります。