Zapierの共同創設者を務めるマイク・ヌープ氏とGoogleのソフトウェアエンジニアであるフランソワ・ショレ氏が共同で、知性を持ったオープンソースの汎用(はんよう)人工知能(AGI)を開発した研究者に対して最大50万ドル(約7800万円)以上の賞金を与えるコンテスト「ARC Prize」を実施しています。

Announcing ARC Prize

https://arcprize.org/blog/launch



Announcing ARC Prize - YouTube

ARC Prize - Competition Details

https://arcprize.org/competition

OpenAIのGPT-4をはじめとする近年の大規模言語モデルは、トレーニングしたデータ内のパターンを詳細に記憶し、それらのパターンを別のコンテクストに適用することで、AIがまるで推論を行っているように見えます。しかし、これは大規模言語モデルによる暗記にすぎず、実際には推論ではないとのこと。また、一般的な大規模言語モデルはトレーニングしていない新しい状況に対して新たな推論を生成することができません。

一方で、汎用的な人工知能は、人間のように未知の状況でも新たなスキルを効率的に取得して適応することが可能です。ヌープ氏らは「AGIでなければ、AIが人間の知能を上回ることはできません。私たちは、人間と一緒に発見し、発明し、人類を前進させることができるAGIを望んでいます」と語っています。

またヌープ氏らはGPT-4のリリース以降、多くの高性能な大規模言語モデルがクローズドで開発されていることに問題を提起しており「私たちは、クローズドでAIを開発して、他企業による新しいアイデアの発明を遅らせるのではなく、オープンソースで開発する企業に対しインセンティブを与えるように努めるべきです。この結果、新しいアイデアが生まれやすくなり、このアイデアが広く普及することで、さまざまな規模のAI企業間でより公平な競争の場が確立されるはずです」と主張しています。



この理想を形にするため、ヌープ氏らはオープンソースかつ高性能なAGIを開発する研究者に対し、総額100万ドル(約1億5000万円)規模の賞金を与えるコンテスト「ARC Prize」の開催を発表しました。

提出されたAGIの性能を測る上で重要になってくるのが、ショレ氏が発表した論文「On the Measure of Intelligence」で紹介された「ARC-AGI」という指標です。ARC-AGIでは、AIが備える暗記力以外の性能をテストします。以下の例は「上の2つの凡例を基に、空欄となっているグリッドを正しく埋めよ」というタスクです。



これまでのARC-AGIで最も高いスコアを残していたAIでも、2024年時点でのARC-AGIのスコアはわずか34％とのこと。一方でARC-AGIのタスクを人間の子どもが実施した場合、85％から100％のスコアを残すことができます。つまりヌープ氏らは、人間のARC-AGIスコアに近い結果を残せるAGIを開発した研究者に対し、賞金を授与しようというわけ。



具体的には、2024年6月11日の受付開始から11月10日の締め切りまでに提出された中で、人間の平均ARC-AGIスコアである85％以上のスコアを残すAGIを開発した最大5名の研究者には、大賞として50万ドルが授与されます。

また、ARC-AGIスコアが高かったAGIのうち、1位に2万5000ドル(約390万円)、2位に1万ドル(約150万円)、3位から5位にそれぞれ5000ドル(約78万円)の賞金が授与されます。

加えて、ARC-AGIで高いパフォーマンスを達成する方法についての理解を最も深めた論文に対しては、論文賞として4万5000ドル(約700万円)の賞金が贈られます。

ARC Prizeの結果は2024年12月3日に発表されます。なお、コンテストに応募するには、再現可能なコードやメソッドをパブリックドメインとして公開する必要があるとのことです。