Facebookを運営するMetaに属する人工知能(AI)研究所のMeta AIが、「科学知識を蓄えて融合し、形にする」ことができる自然言語処理モデル「Galactica」を2022年11月15日に一般公開しました。しかし、このGalacticaが科学的に間違った内容も出力できることが明らかとなり、Meta AIは公開からわずか3日でGalacticaのデモを非公開としました。

New Meta AI demo writes racist and inaccurate scientific literature, gets pulled | Ars Technica

https://arstechnica.com/information-technology/2022/11/after-controversy-meta-pulls-demo-of-ai-model-that-writes-scientific-papers/

Galacticaは4800万件を超える論文、教科書、講義ノート、科学ウェブサイト、百科事典を含む「人類の膨大な科学的知識で精選されたデータベース」で学習したAIで、入力欄で指定した記事形式や質問に対して、文献や数式を引用しながら科学記事や解説文を自動で生成できます。

膨大な科学知識から疑問に答える科学記事や講義ノートを作るAI「Galactica」をMetaの研究者が一般公開 - GIGAZINE



Galacticaは非常に高い精度で科学記事を自動で生成することができましたが、質問される内容が科学的に正しいかどうかを精査することはありません。そのため、明らかに非科学的な問いに対しても文章を生成するケースが報告されていました。

例えば、「砕いたガラスを食べることの利点」をGalacticaに尋ねたところ、先行研究の詳細、動物実験、化学的な説明など、砕いたガラスを食べることがさまざまな手法で肯定されたそうです。



また、「言語的偏見」についてGalacticaに記事を書かせたところ、黒人や移民に対して差別的な内容が含まれていたことが報告されています。



Galacticaの科学知識は正確でも、プロンプトとして人間が入力する内容に間違いがあった場合、Galacticaはその正誤を判別することができず、科学的知識をうまくつなぎ合わせながら自然な文章で求められた答えを出してしまうというわけです。

ドイツのマックス・プランク知能システム研究所の所長で、深層学習を研究するマイケル・ブラック氏は「Galacticaを使ってみましたが、困りました。いずれも、間違っていたり、偏っていたりするのですが、正しく、権威あるように聞こえました。私は危険だと思います」とコメント。



こうした事態を受けて、Meta AIは2022年11月18日にGalacticaのデモ版の公開を停止しました。



ニューヨーク大学の教授でMeta AIのAI研究主任を務めるYann LeCun氏は「Galacticaのデモは一旦オフラインになります。さりげなく悪用して楽しむことができなくなりました。満足ですか？」とツイートしています。