ARC-AGIとOpenAI o3の挑戦：AGIへの道とその課題
この文章はAIによる補助をもって作成しました。
人工知能(AI)、特に汎用AI(AGI)の実現に向けた進展が注目を集めています。OpenAIのChatGPT-o3がARC-AGIベンチマークで高得点を獲得し、AGIへの前進と評価されていますが、課題も残ります。本記事では、o3の成果、関連する話題、AGIの未来について考察します。
1. ARC-AGIにおけるOpenAI ChatGPT-o3の高得点とAGIへの進展
ARC-AGI（Abstraction and Reasoning Corpus-AGI）という、AIの抽象的推論能力を測定する為に設計されたベンチマークがあります。2024年12月20日,OpenAIのChatGPT-o3がこのベンチマークで高得点を獲得したこと発表されました。ARC Prizeの公式ブログ1によれば、o3はARC-AGI-Pubで75.7%という高いスコアを達成し、これは同ベンチマークの公的リーダーボードで1位にランクインする成果です。さらに、高コスト設定では87.5%という驚異的なスコアも記録しました。
この成果は、単なる性能向上ではなく、AIが新しいタスクに適応する能力の飛躍的な向上を示しています。以前のGPTモデルでは実現できなかった柔軟な適応能力をo3は具現化しており、これはAGIの実現に向けた重要な一歩と位置づけられています。
2. 高コストと未解決の課題
まず、その計算コストが非常に高く、単一のタスクを解くために数千万トークンを消費し、1タスクあたり20ドル以上の費用がかかるという現実があります。これは、現時点ではo3の利用が非常に高価であり、広く一般に活用されるためには、さらなる効率化が必要であることを示唆しています。また、人間にとって簡単に解ける問題でさえ、o3が誤答するケースがあることも報告されています。これらの課題は、真の意味での人間的な推論能力の獲得には、まだ多くの障壁があることを物語っています。
さらに、ARC-AGI-2という次世代ベンチマークの登場により、o3の得点が今後低下する可能性が指摘されています。ARC Prizeのレポート1によれば、ARC-AGI-2はo3にとって依然として大きな挑戦となる見込みであり、期待されたスコアを維持することが困難とされています。これにより、o3が本当にAGIに近づいているのか、さらなる検証が必要とされています。
3. Kaggle Competition「ARC Prize 2024」とARC-AGIの関係、Test Time Computingの役割
一方、KaggleのCompetitionであるARC Prize 20242は、ARC-AGIベンチマークを基にしたCompetitionであり、参加者は同じARC-AGIの課題に挑戦しています。このCompetitionでは、OpenAIよりもはるかに少ないリソースで50%以上の正解率を達成するソリューションが登場しています。Kaggle ARC Prize 2024 リーダーボード3これらのソリューションは「Test Time Computing（テストタイムコンピューティング）」という技術を活用しており、まだ研究途上の分野です。
Test Time Computing4は、推論時に追加の計算リソースを活用して性能を向上させる手法です。これにより、モデルパラメータを増やすことなく、効率的に性能を向上させることが可能となります。KaggleのCompetition「ARC Prize 2024」競技結果からも明らかなように、この技術が進化すれば、AIの人間的な推論能力も飛躍的に進化する可能性があります。
さらに、Kaggle Competitionでの好成績モデルのみがTest Time Computingを使用しているわけではなく、ChatGPT-o3も同様の技術を使用していると考えられます。現在公開されているo1-previewも他のLLMと比べて推論時間が長い場合が多く、推論中に同様に多くの計算処理を行っていると考えられるためです。
4. No Free Lunch定理とAGIの未来
AGIの実現に関する議論において、No Free Lunch（ノー・フリー・ランチ）定理の示唆は無視できません。この定理によれば、あらゆる問題に対して平均的に高い性能を持つアルゴリズムは存在しえないとされています。つまり、汎用性を追求するほど、特定のタスクにおける性能は平均的なものに収束する傾向があるのです。
No Free Lunch定理5に基づけば、多くの人々が期待する「本当のAGI」や「ASI（Artificial Super Intelligence、超人工知能）」は、実際には意外にも「退屈」な存在になる可能性があります。特定の分野で卓越した能力を示すのではなく、むしろ平均的な性能を示す汎用的なシステムとなるかもしれません。これは、AGIが広範なタスクに対応できる一方で、特定のタスクにおいては専門的なモデルに劣る結果を招く可能性を示唆しています。
この定理の実例として、数独を解くAIとソルバーの性能差が挙げられます。汎用的なアプローチであるRRN（Relational Reasoning Network）を用いて数独を解く試みでは、解くのに数秒を要しました6。一方、数独専用のSATソルバーを使うと、わずか0.001秒ほどで解くことができると示されています7。これは、汎用性を追求するAIが特定のタスクでは専用のアプローチに大きく劣る可能性を如実に示しています。
5. AIとの付き合い方：退屈なAIとの共存
理論的な制約が存在する中で、AIとの付き合い方をどのように構築していくべきかは重要な課題です。特に、No Free Lunch定理が示すような「退屈」なAIモデルとの共存は一見すると魅力に欠けるように思えるかもしれません。しかし、これは必ずしもネガティブなことではありません。
私個人としては、AIが「退屈」であっても、その進化を楽しむことが重要だと考えています。AIは日常的なタスクを支援し、人間の生活をより豊かにする「良きパートナー」としての役割を果たす可能性があります。完璧な汎用知能の実現を目指すのではなく、現実的な期待を持ちながら、AIの進化を楽しみ、その恩恵を享受していくことが健全な付き合い方ではないでしょうか。
おわりに
ARC-AGIにおけるOpenAIのo3の高得点は、AIが人間的なAGIに近づいていることを示唆する重要な成果です。しかし、その背後には高コストや未解決の課題が存在し、AGI実現への道は依然として険しいものがあります。一方、KaggleのCompetition「ARC Prize 2024」におけるTest Time Computingの活用は、効率的なAI性能向上の可能性を示しており、今後の研究の進展が期待されます。多くのプレイヤーが継続してAIの推論能力強化に取り組んでいる現状では、AGIの実現にさらに近づくことは間違いありません。しかし、一方でNo Free Lunch定理が示すように、AGIが実現した際には当初の期待とは異なる「退屈」な存在となる可能性もあります。私の考えを押し付けるつもりはありませんが、この記事が今後のAIの発展に際し、少しでも促させて頂く内容になっていれば幸いです。