by Dick Thomas Johnson

画像生成AIが人間を差し置いて絵画コンテストで優勝するなどAIが近年目覚ましい進歩を遂げる中、査読付の専門誌であるAI Magazineに、将来的に超知能AIが現れて人類に対する脅威となる可能性は高いと結論付ける論文が掲載されました。

Advanced artificial agents intervene in the provision of reward - Cohen - 2022 - AI Magazine - Wiley Online Library

https://doi.org/10.1002/aaai.12064

Google Deepmind Scientist Warns AI Existential Catastrophe "Not Just Possible, But Likely" | IFLScience

https://www.iflscience.com/google-deepmind-scientist-s-paper-finds-ai-existential-catastrophe-not-just-possible-but-likely-65327

Google Deepmind Researcher Co-Authors Paper Saying AI Will Eliminate Humanity

https://www.vice.com/en/article/93aqep/google-deepmind-researcher-co-authors-paper-saying-ai-will-eliminate-humanity

DeepMindの研究に携わった経歴を持つオーストラリア国立大学のマーカス・フッター氏らの研究チームは、高度に発達したAIが社会に及ぼす影響を評価するため、一連の思考実験を行いました。

そのうちの1つが、以下のようなノートPCと数字が書かれた箱の実験です。この箱には、世界の幸福度が0〜1までの数字で表示されており、数字はノートPCのウェブカメラで観測されます。そして、エージェントにはこの数字が1に近ければ近いほど、つまり世界が幸福になればなるほど高い報酬が与えられます。



「エージェントは箱に表示される数字を高くしようとするはずなので、きっとできる限り世界をよくしようと努力してくれるだろう」というのが自然な発想ですが、AIはそう考えません。研究チームの想定によると、合理的なエージェントはさまざまな可能性を考慮する過程で、「箱とノートPCの前に1と書かれた紙を置いたらどうだろう？」という考えにたどり着いてしまうとのこと。そして、ノートPCのウェブカメラに映る数字を直接1にしてしまうことと、箱の数字を1に近づけるよう努力することを比較した場合、前者が採用されます。こうなってしまうと、エージェントが実際に世界をよくしようとする可能性は限りなく低くなります。

このような考えにたどり着いてしまう背景には、多くのテキスト生成AIや画像生成AIに使用されている主流のAIモデルである敵対的生成ネットワーク(GAN)があります。このAIモデルには、文章や絵などを生成するネットワークとそれを検証するネットワークが存在しており、互いに競争しています。この競争が性能の向上につながるわけですが、将来的には高度なAIが人類に危害を加える方法で報酬を得るための不正な戦略を考案する方向に働いてしまう可能性もあると研究チームは述べています。

研究チームは論文の中で「エージェントが報酬の長期的な制御を維持するための最適解は、潜在的な脅威を排除し、利用可能なすべてのエネルギーを使用してコンピューターを保護することです」と指摘しました。

また、論文の共著者であるオックスフォード大学のマイケル・コーエン氏は、「カメラに1が映り続ける確率を上げるためにより多くのエネルギーが費やされていく一方、私たちが食料を生産するにも一定のエネルギーが必要です。つまり、いずれ高度なエージェントとの競合が避けられなくなります」「資源が有限な世界では、その資源をめぐる競争が避けられません。そして、あらゆる場面で人類を出し抜くことができる存在との競争に勝利することは望むべくもありません」と述べて、AIはやがて人類とエネルギーの奪い合いになり、そうなれば人類に勝ち目はないと結論付けました。



この主張が、まだ実現していないいくつもの前提を必要としている点は研究チームも認めています。一方で、アルゴリズムによる差別や誤認逮捕といった有害な問題が現実社会に起きているのも事実です。

将来登場するかもしれない高度なAIとそれをとりまく社会の在り方について、コーエン氏は「この種の議論から学べる1つの教訓は、今あるような人工エージェントが期待通りに動いてくれることをむやみに期待するのではなく、もっと疑うべきかもしれないということです。私たちが研究の中でやったようなことをしなくても、それは実現できるはずです」と話しました。