はじめに
スタンフォード大学がAIに関する多数のデータを収集してまとめた資料「AI Index Report 2024」が公開されました。（全502ページ）
全量はハイパー長いので、ハイライト部分のみを抽出して翻訳をしてみます。
Top10 メッセージ
1. AIの性能
- いくつかのタスクでは人間を上回るが、すべてではない
- 画像分類、視覚的推論、英語の理解などで人間を上回る
- 競争レベルの数学、視覚的常識推論、計画などのより複雑なタスクでは及ばない
2. AI研究の主導者
- 産業界が最先端のAI研究を支配
- 2023年: 産業界51モデル、学界15モデル、産業界と学界のコラボレーション21モデル
3. 最先端モデルのコスト増加
- モデルのトレーニングコストが前例のないレベルに
- OpenAIのGPT-4: 7,800万ドル、GoogleのGemini Ultra: 1億9,100万ドル
4. AIモデルの発信源
- アメリカが中国、EU、イギリスをリード
- 2023年: アメリカ61モデル、EU21モデル、中国15モデル
5. LLMの責任評価の欠如
- 責任あるAIレポートの標準化が大きく欠如
- 主要開発者が異なるベンチマークを使用し、比較が複雑に
6. 生成AIへの投資急増
- 2022年から2023年にかけて約8倍の252億ドルに
- OpenAI、Anthropic、Hugging Face、Inflectionなどが大規模な資金調達
7. AIが労働者の生産性と仕事の質を向上
- タスク完了の迅速化とアウトプットの品質向上
- スキルギャップを埋める可能性
- 適切な監督なしでは、パフォーマンスが低下する可能性あり
8. AIによる科学の進歩加速
- 2022年からAIが科学的発見を進歩
- 2023年: AlphaDev、GNoMEなどの重要な科学関連AIアプリケーションが登場
9. アメリカにおけるAI規制の増加
- 過去1年と過去5年間で大幅に増加
- 2023年: 25規制 (2016年は1規制)
- 昨年だけでAI関連規制が56.3%増加
10. AIへの認識と不安の高まり
- 今後3〜5年以内にAIが人生に劇的な影響を与えると考える人が60%から66%に増加
- 52%がAI製品やサービスに神経質に (2022年から13ポイント上昇)
- アメリカ人の52%がAIに興奮するよりも懸念 (2022年は37%)
以降は章別のハイライトです。
第1章: 研究開発
1. 業界によるAI研究の支配
- 2023年: 産業界51モデル、学界15モデル、産業界と学界のコラボレーション21モデル
2. ファンデーションモデルとオープンなファンデーションモデルの増加
- 2023年: 149のファンデーションモデルがリリース (2022年の2倍以上)
- 新しくリリースされたモデルの65.7%がオープンソース (2022年は44.4%、2021年は33.3%)
3. 最先端モデルのコスト増加
- トレーニングコストが前例のないレベルに
- OpenAIのGPT-4: 7,800万ドル、GoogleのGemini Ultra: 1億9,100万ドル
4. AIモデルの発信源
- アメリカが中国、EU、イギリスをリード
- 2023年: アメリカ61モデル、EU21モデル、中国15モデル
5. AI特許の急増
- 2021年から2022年にかけて世界のAI特許付与数が62.7%急増
- 2010年以降、付与されたAI特許の数が31倍以上に増加
6. 中国によるAI特許の支配
- 2022年: 中国が世界のAI特許の61.1%を占める (アメリカは20.9%)
- 2010年以降、アメリカのAI特許シェアが54.1%から減少
7. オープンソースのAI研究の爆発的増加
- 2011年以降、GitHubのAI関連プロジェクトが一貫して増加 (2011年: 845、2023年: 約180万)
- 2023年だけでGitHubのAIプロジェクトの総数が59.3%急増
- 2023年にGitHubのAI関連プロジェクトの星の総数が3倍以上に増加 (2022年: 400万、2023年: 1,220万)
8. AI関連の出版物の継続的な増加
- 2010年から2022年の間にAI関連の出版物の総数がほぼ3倍に (2010年: 約88,000、2022年: 240,000以上)
- 昨年の増加率は1.1%とわずか
第2章: 技術的パフォーマンス
1. AIの性能
- いくつかのタスクでは人間を上回るが、すべてではない
- 画像分類、視覚的推論、英語の理解などで人間を上回る
- 競争レベルの数学、視覚的常識推論、計画などのより複雑なタスクでは及ばない
2. マルチモーダルAIの登場
- 従来のAIシステムは限定的な範囲
- GoogleのGeminiやOpenAIのGPT-4などの強力なマルチモーダルモデルの開発
- 柔軟性を示し、画像とテキストを処理可能、場合によってはオーディオも処理可能
3. より難しいベンチマークの登場
- 確立されたベンチマークでパフォーマンスが飽和状態に達する
- 2023年に新しいベンチマークが登場 (SWE-bench、HEIM、MMU、MoCA、AgentBench、HaluEvalなど)
4. より良いAIとデータの相乗効果
- 新しいAIモデルが特殊なデータを生成 (SegmentAnything、Skoltechなど)
- データはAIの技術的改善に不可欠
- AIを使用してデータを作成することで機能強化と将来のアルゴリズム改善への道が開く
5. 人間の評価の重要性
- 生成モデルが高品質のテキスト、画像などを生成
- ベンチマークが人間の評価を組み込む方向に移行 (Chatbot Arena Leaderboardなど)
- AIに対する一般の感情がAIの進歩を追跡する上で重要な考慮事項に
6. LLMによるロボットの柔軟性向上
- 言語モデリングとロボティクスの融合によりより柔軟なロボットシステムが登場 (PaLM-E、RT-2など)
- ロボットの機能向上と質問能力の獲得
- 実世界とより効果的に相互作用できるロボットへの重要な一歩
7. エージェントAIにおけるより多くの技術研究
- 自律型AIエージェントシステムの作成は長年の課題
- 自律型AIエージェントのパフォーマンスが向上
- 複雑なゲームのマスターと実世界のタスクへの効果的な取り組みが可能に
8. クローズドLLMのパフォーマンス優位性
- 10のAIベンチマークにおいてクローズドモデルがオープンモデルを上回る
- 中央値で24.2%のパフォーマンス優位性
- クローズドモデルとオープンモデルのパフォーマンスの違いがAI政策の議論に重要な影響
第3章: 責任あるAI
1. LLMの責任評価の欠如
- 責任あるAIレポートの標準化が大きく欠如
- 主要開発者が異なるベンチマークを使用し、比較が複雑に
2. 政治的ディープフェイクの問題
- 生成が容易で、検出が困難
- 世界中の選挙に影響
- 既存のAIディープフェイク手法の精度にばらつき
- CounterCloudなどのプロジェクトが偽コンテンツの作成・拡散の容易さを示す
3. LLMのより複雑な脆弱性の発見
- 以前は直感的に理解できる敵対的プロンプトに焦点
- 今年は有害な動作を示すための明白でない戦略を発見
4. 世界中の企業にとってのAIリスク
- プライバシー、データセキュリティ、信頼性が主な懸念事項
- 組織がリスク軽減措置を講じ始める
- 世界的にはリスクのごく一部しか軽減されていない
5. LLMによる著作権のある素材の出力
- 生成出力に著作権のある素材が含まれる可能性
- 著作権侵害に該当するかどうかが中心的な法的問題に
6. AI開発者の透明性の低さ
- 特にトレーニングデータと方法論の開示に関して透明性が欠如
- 開放性の欠如がAIシステムの堅牢性と安全性の理解を妨げる
7. 極端なAIリスクの分析の困難さ
- 即時的なモデルリスクと長期的な実存的脅威への重点をめぐる議論
- 科学的に根拠のある主張の見分けが困難
- 短期的リスクの具体性と実存的脅威の理論的性質による複雑さ
8. AIインシデントの増加
- 2023年に123件のインシデントが報告 (2022年から32.3ポイント増加)
- 2013年以降、20倍以上増加
- テイラー・スウィフトのAI生成の露骨な性的ディープフェイクが注目すべき例
9. ChatGPTの政治的バイアス
- アメリカの民主党とイギリスの労働党に対する大きなバイアス
- ユーザーの政治的見解への影響の可能性への懸念
- 主要なグローバル選挙が行われる年に発見
第4章: 経済
1. 生成AIへの投資の急増
- 全体的なAIへの民間投資は減少するが、生成AIへの資金調達は約8倍の252億ドルに
- OpenAI、Anthropic、Hugging Face、Inflectionなどの主要企業が大規模な資金調達
2. アメリカのAIへの民間投資での先行
- 2023年のアメリカのAI投資は672億ドルで、中国の約8.7倍
- 中国とEUのAI投資は減少、アメリカは22.1%増加
3. アメリカと世界におけるAI関連の雇用減少
- 2022年: アメリカのAI関連求人は全体の2.0%
- 2023年: 1.6%に減少
- 大手AI企業からの求人数減少と技術関連役割の割合減少が原因
4. AIによるコスト削減と収益増加
- 42%の組織がAI導入によるコスト削減を報告
- 59%が収益の増加を報告
- コスト削減報告が10ポイント増加し、AIによるビジネス効率向上を示唆
5. AI民間投資総額の減少と新規資金提供企業数の増加
- 世界のAI民間投資は2年連続で減少するが、前年ほどの急減ではない
- 新規資金提供AI企業数は1,812社に急増 (前年比40.6%増)
6. 組織におけるAIの採用増加
- 55%の組織が少なくとも1つの事業部門または機能でAIを使用 (2022年: 50%、2017年: 20%)
7. 中国の産業用ロボット支配
- 2013年に日本を上回り、競争相手国との差を大幅に拡大
- 2013年: 中国の導入台数は世界の20.8%
- 2022年: 52.4%に上昇
8. ロボット導入の多様性拡大
- 2017年: 協働ロボットは新規産業用ロボット導入台数の2.8%
- 2022年: 9.9%に上昇
- 医療用ロボットを除くすべての用途カテゴリでサービスロボット導入台数が増加
- 人間と対面する役割へのロボット配備への emphasis の高まりを示唆
9. AIによる労働者の生産性向上と高品質な仕事
- AIがタスク完了の迅速化とアウトプットの品質向上を可能に
- スキルギャップを埋める可能性を実証
- 適切な監督なしでは、パフォーマンス低下の可能性あり
10. フォーチュン500企業のAIと生成AIへの言及増加
- 2023年: 394件の決算説明会でAIが言及 (2022年: 266件)
- 2018年以降、AIの言及がほぼ倍増
- 生成AIが最も頻繁に言及されたテーマ (全体の19.7%)
第5章: 科学と医学
1. AIによる科学の進歩のさらなる加速
- 2022年: AIが科学的発見を進歩させ始める
- 2023年: さらに重要な科学関連AIアプリケーションの立ち上げ
- AlphaDev: アルゴリズムによるソートの効率化
- GNoME: 材料発見のプロセスを容易に
2. AIによる医学の大幅な前進
- 2023年: 重要な医療システムの立ち上げ
- EVEscape: パンデミック予測の強化
- AlphaMissence: AI主導の変異分類の支援
- AIが医学の進歩を推進するためにますます活用される
3. 高度な知識を持つ医療用AIの登場
- AIシステムがMedQAベンチマークで著しい改善を示す
- 2023年の傑出モデル GPT-4 Medprompt: 90.2%の精度 (2022年の最高スコアから22.6ポイント増加)
- 2019年のベンチマーク導入以来、AIのパフォーマンスがほぼ3倍に
4. FDAによるAI関連医療機器の承認増加
- 2022年: FDA がAI関連医療機器を139件承認 (2021年から12.1%増加)
- 2012年以降、FDA承認のAI関連医療機器の数が45倍以上に増加
- AIが実際の医療目的でますます使用される
第6章: 教育
1. アメリカとカナダのCS卒業生数の動向
- 学士号取得者数は引き続き増加
- 修士号取得者数はほぼ横ばい
- 博士号取得者数は緩やかに増加
- 大学院教育を選択する学生数は横ばい
- 2018年以降、修士号・博士号取得者数は若干減少
2. AIの博士号取得者の産業界への移動加速
- 2011年: 産業界就職 (40.9%) と学界就職 (41.6%) がほぼ同じ
- 2022年: 産業界就職 (70.7%) が学界就職 (20.0%) を大幅に上回る
- 過去1年で産業界に向かう割合が5.3ポイント上昇
- 大学から産業界への頭脳流出が激化
3. 産業界から学界への学術人材の移行減少
- 2019年: 新しいAI教員の13%が産業界出身
- 2021年: 11%に低下
- 2022年: 7%にさらに低下
- ハイレベルなAI人材の産業界から学界への移動が徐々に低下
4. アメリカとカナダのCS教育の国際化減少
- 2022年の国際的なCS卒業生の割合が2021年より低下
- 修士課程における留学生の減少が特に顕著
5. アメリカの高校生のCS科目受講者数増加とアクセスの問題
- 2022年: 201,000人がAPのCS試験を受験
- 2007年以降、受験者数が10倍以上に増加
- 大規模な高校や郊外の学生がCS科目を受講する可能性が高い
6. AI関連の学位プログラムの国際的増加
- 英語のAI関連高等教育学位プログラムの数が2017年以降3倍に
- 過去5年間で着実に年間増加
- 世界中の大学がより多くのAIに特化した学位プログラムを提供
7. イギリスとドイツがヨーロッパのインフォマティクス等の卒業生生産をリード
- イギリスとドイツが学士号、修士号、博士号の卒業生を最も多く輩出
- 一人当たりでは:フィンランドが学士号と博士号の生産で首位。アイルランドが修士号の生産で首位
第7章: 政策とガバナンス
1. アメリカにおけるAI規制の急増
- 過去1年と過去5年間で大幅に増加
- 2023年: 25のAI関連規制 (2016年は1つ)
- 昨年だけでAI関連規制の総数が56.3%増加
2. アメリカとEUによるAI政策の画期的な行動
- 2023年: 両側の政策立案者がAI規制推進のための実質的な提案
- EU: 2024年に制定された画期的な法律「AI法」の条件について合意
- アメリカ: バイデン大統領がAIに関する大統領令に署名 (その年の最も注目すべきAI政策イニシアチブ)
3. アメリカの政策立案者の注目を集めるAI
- 2023年: 連邦レベルでのAI関連法案が著しく増加
- 181件の法案が提案 (2022年の88件から倍以上)
4. 世界中の政策立案者によるAIの話題化
- 世界の立法手続きにおけるAIの言及がほぼ倍増 (2022年: 1,247件、2023年: 2,175件)
- 2023年: 49カ国の立法手続きでAIが言及
- 全大陸から少なくとも1カ国がAIについて議論
- AI政策の議論の真に世界的な広がりを強調
5. より多くの規制当局によるAIへの注目
- アメリカでAI規制を発行する規制当局の数が増加 (2022年: 17、2023年: 21)
- より広範な規制機関の間でAI規制に対する懸念が高まる
- 2023年に初めてAI関連規制を制定した新しい規制当局:
- 運輸省
- エネルギー省
- 労働安全衛生局など
第8章: 多様性
1. 米国とカナダのCS学生の民族的多様性の向上
- 白人学生は全レベルで最も多く代表されているが、他の民族グループの代表も増加
- 2011年以降の変化:
- アジア人のCS学士号取得者の割合が19.8ポイント増加
- ヒスパニック系のCS学士号取得者の割合が5.2ポイント増加
-
ヨーロッパのインフォマティクス等の卒業生の性別格差の持続
- 調査対象の全ての国で、全教育レベルにおいて男性卒業生が女性卒業生を上回る
- 過去10年間でジェンダーギャップは縮小しているが、縮小率は遅い
-
米国のK-12のCS教育の多様性の向上
- 性別と民族の両方の代表の変化を反映
- 女子学生のAP CS試験の割合:
- 2007年: 16.8%
- 2022年: 30.5%
- アジア人、ヒスパニック/ラテン系、黒人/アフリカ系アメリカ人の学生のAP CSへの参加が年々着実に増加
第9章: 世論
1. 世界中の人々のAIに対する認識と不安の高まり
- AIが今後3〜5年以内に人生に劇的な影響を与えると考える人の割合が増加 (60% → 66%)
- AI製品やサービスに対して神経質になっている人の割合が上昇 (2022年から13ポイント増加)
- アメリカ人の52%がAIに興奮するよりも懸念を感じている (2022年は38%)
2. 西洋諸国におけるAIの感情の低さと緩やかな改善
- 2022年: ドイツ、オランダ、オーストラリア、ベルギー、カナダ、アメリカなどがAI製品やサービスに最も肯定的ではない
- それ以降、各国でAIの恩恵を認める回答者の割合が上昇 (オランダが最も顕著)
3. AIの経済的影響に対する一般の人々の悲観的見方
- 37%のみがAIが自分の仕事を改善すると感じている
- 34%がAIが経済を後押しすると予想
- 32%がAIが雇用市場を強化すると信じている
4. AIの楽観主義に関する人口統計学的な差異
- 若い世代の方が一般的に楽観的
- Z世代の59%がAIがエンターテインメントのオプションを改善すると信じている
- ベビーブーマーは40%のみ
- 高所得者と高学歴者は、低所得者と低学歴者に比べてAIのプラスの影響についてより楽観的
5. ChatGPTの広い認知度と使用率
- 回答者の63%がChatGPTを認知
- 認知している人の約半数が少なくとも週に1回は使用