sakana.aiからすごいのが出てきたので、思わずまとめ記事を作りました。
時間がない人は、下記にも掲載のホームページのブログ記事だけでも参照ください。ここでは、今後たくさん生まれるであろう無数の事例からの衝撃を正しく感じるために、事前を知識として最低限の把握をすることを目的としています。
この記事でやること
- 1次情報を参照先としてまとめる
- 論文の概要を紹介する
- 作られた論文の一部を紹介する
- 今後の影響について紹介する
1次情報を参照先としてまとめる
まずはsakana.aiのホームページ上で掲載されたブログ記事のリンクです。
基本的には論文の抜粋がわかりやすく説明されているので、この情報を見るだけでも十分です。
サンプルペーパーの部分は論文と比べて特に見やすいです。
※日本語版のページもできてました。
arxiv上のページはこちらです。
論文の概要を紹介する
arxiv上の論文の概要を引用します。
One of the grand challenges of artificial general intelligence is developing agents capable of conducting scientific research and discovering new knowledge. While frontier models have already been used as aids to human scientists, e.g. for brainstorming ideas, writing code, or prediction tasks, they still conduct only a small part of the scientific process. This paper presents the first comprehensive framework for fully automatic scientific discovery, enabling frontier large language models to perform research independently and communicate their findings. We introduce The AI Scientist, which generates novel research ideas, writes code, executes experiments, visualizes results, describes its findings by writing a full scientific paper, and then runs a simulated review process for evaluation. In principle, this process can be repeated to iteratively develop ideas in an open-ended fashion, acting like the human scientific community. We demonstrate its versatility by applying it to three distinct subfields of machine learning: diffusion modeling, transformer-based language modeling, and learning dynamics. Each idea is implemented and developed into a full paper at a cost of less than $15 per paper. To evaluate the generated papers, we design and validate an automated reviewer, which we show achieves near-human performance in evaluating paper scores. The AI Scientist can produce papers that exceed the acceptance threshold at a top machine learning conference as judged by our automated reviewer. This approach signifies the beginning of a new era in scientific discovery in machine learning: bringing the transformative benefits of AI agents to the entire research process of AI itself, and taking us closer to a world where endless affordable creativity and innovation can be unleashed on the world's most challenging problems. Our code is open-sourced at this https URL
アブストラクトを機械翻訳したものを以下に記載します。
人工知能の大きな課題の一つは、科学研究を行い、新しい知識を発見できるエージェントを開発することです。最先端のモデルはすでに人間の科学者の補助として、例えばアイデアのブレインストーミング、コードの作成、予測タスクなどに使用されていますが、科学プロセスのほんの一部しか担っていません。
本論文では、完全に自動化された科学的発見のための包括的なフレームワークを初めて提示し、最先端の大規模言語モデルが独立して研究を行い、その発見を伝えることを可能にします。我々は、新しい研究アイデアを生み出し、コードを書き、実験を実行し、結果を視覚化し、完全な科学論文を書いてその発見を記述し、評価のためにシミュレートされた査読プロセスを実行する「The AI Scientist」を紹介します。原則として、このプロセスは、人間の科学コミュニティのように、アイデアをオープンエンドで繰り返し発展させるために繰り返すことができます。
我々はこの汎用性を、機械学習の3つの異なるサブフィールド、すなわち拡散モデリング、Transformerベースの言語モデリング、学習ダイナミクスに適用することで実証します。それぞれのアイデアは実装され、1論文あたり15ドル未満のコストで完全な論文に発展させられます。生成された論文を評価するために、我々は自動化された査読者を設計し、検証しました。この査読者は、論文スコアの評価において人間に近い性能を達成することを示しました。The AI Scientistは、我々の自動査読者によって判断されるように、トップレベルの機械学習会議の採択基準を超える論文を作成することができます。
このアプローチは、機械学習における科学的発見の新しい時代の始まりを示しています。AIエージェントの変革的な利点をAI自身の研究プロセス全体にもたらし、無限の創造性と革新が世界で最も困難な問題に解き放たれる世界へと近づけます。私たちのコードは、https URL でオープンソース化されています。
作られた論文の一部を紹介する
サンプルとして作成された複数の論文は以下のGoogle Driveに置かれています。
生成AIのモデルごとに論文の違いを比べたいときはここを見に行くと良いと思います。
ここではサンプルの紹介として、「Adaptive Dual-Scale Denoising」についてブログでの言及内容と合わせて紹介します。
以下はブログでの言及内容の引用
AIサイエンティストが実際に作成した論文の例（「Adaptive Dual-Scale Denoising」）はこちらで見ることができます。いくつかの欠点（例えば、最も関連性の高い実験だけでなく、実施したすべての実験を共有していること、成功した理由の解釈が若干間違っていること）はあるものの、この論文は興味深い新しい方向性を提案し、良い実験結果を示しています。このアイデアの有望性は、AIサイエンティスト自身が実験を行い、査読を行うことで実証されています。
今後の影響について紹介する
論文のDiscussionの中ではさまざまな観点で今回の実験に関する考察が記載されているのですが、その中から、Future Directionについて引用して紹介します。
Direct enhancements to The AI Scientist could include integrating vision capabilities for better plot and figure handling, incorporating human feedback and interaction to refine the AI’s outputs, and enabling The AI Scientist to automatically expand the scope of its experiments by pulling in new data and models from the internet, provided this can be done safely. Additionally, The AI Scientist could follow up on its best ideas or even perform research directly on its own code in a self-referential manner. Indeed, significant portions of the code for this project were written by Aider. Expanding the framework to other scientific domains could further amplify its impact, paving the way for a new era of automated scientific discovery. For example, by integrating these technologies with cloud robotics and automation in physical lab spaces (Arnold, 2022; Kehoe et al., 2015; Zucchelli et al., 2021) provided it can be done safely, The AI Scientist could perform experiments for biology, chemistry, and material sciences.
Crucially, future work should address the reliability and hallucination concerns, potentially through a more in-depth automatic verification of the reported results. This could be done by directly linking code and experiments, or by seeing if an automated verifier can independently reproduce the results.
Future Directionを機械翻訳したものを以下に記載します。
The AI Scientist の直接的な強化としては、プロットや図の処理能力向上のための視覚機能の統合、AIの出力改善のための人間からのフィードバックと相互作用の組み込み、安全性が確保されることを前提に、インターネットからの新しいデータやモデルを取り込むことで The AI Scientist が実験範囲を自動的に拡大できるようにすることが考えられます。さらに、The AI Scientist は、自身の最も優れたアイデアを追求したり、自己言及的な方法で自身のコードについて直接研究を行うことも可能になるでしょう。実際、このプロジェクトのコードのかなりの部分は Aider によって書かれました。このフレームワークを他の科学分野に拡大することで、その影響をさらに増幅させ、自動化された科学的発見の新たな時代への道を開くことができます。例えば、これらの技術をクラウドロボティクスや物理的な実験室空間での自動化と統合することで（Arnold, 2022; Kehoe et al., 2015; Zucchelli et al., 2021）、安全性が確保されることを前提に、The AI Scientist は生物学、化学、材料科学の実験を行うことができるようになるでしょう。
重要なのは、将来の研究では、報告された結果のより詳細な自動検証などを通じて、信頼性と幻覚の問題に対処する必要があるということです。これは、コードと実験を直接リンクさせることや、自動検証器が独立して結果を再現できるかどうかを確認することによって行うことができます。
所感
生成AIの登場から研究開発と実証までの速度は高速化し続けており、その影響はAI分野を越えてさまざまな分野にも影響を与えようとしています。今回の試みは研究開発活動に対して鋭い切り口で新しい考え方を提供しているように感じています。理論による研究はさらに高速化が進み、人が管理するよりも早いフィードバックがAIによって行われるようになるように感じます。
AIの技術や実験活動が今後も活発に行われることを楽しみにしています。