膨大な科学知識から疑問に答える科学記事や講義ノートを作るAI「Galactica」をMetaの研究者が一般公開
![](https://image.news.livedoor.com/newsimage/stf/6/6/66614_88_ff6bf850fe93cabcb11837cb8c6854d3.png)
Metaの研究者が、さまざまな疑問に対して答えを教えてくれる言語モデル「Galactica」をオープンソースとして一般公開しました。Galacticaは単に関連する話題の記事や論文のリンクを答えるのではなく、投げかけられた疑問に対する回答を生成し、その回答の生成に用いた論文の引用もしっかり提示した「オリジナルの科学記事や講義ノート」を作成することができます。
https://galactica.org/
Galactica: A Large Language Model for Science
(PDF)https://galactica.org/static/paper.pdf
GitHub - paperswithcode/galai: Model API for GALACTICA
https://github.com/paperswithcode/galai
Galacticaはさまざまな研究論文や参考資料、知識ベースなど、まさに人類の科学知識を結集させたデータセットで訓練されています。Galacticaはこのすべての知識を、80GBのメモリを持つNVIDIA A100で処理できるような1200億のパラメーターモデルに圧縮しており、入力された内容に対する回答、あるいは指示された記事を一から作成します。さらにこのGalacticaの画期的な部分は、答えを考える上で解くことができない計算に直面すると、その場でプログラムを作成し、従来のコンピューターで実行するという点です。
Galacticaに質問したらどんな答えが返ってくるのかについてはGalacticaのデモで試すことができ、以下のムービーに示されている例を見るとわかります。
???? Introducing Galactica. A large language model for science.
Can summarize academic literature, solve math problems, generate Wiki articles, write scientific code, annotate molecules and proteins, and more.
Explore and get weights: https://t.co/jKEP8S7Yfl pic.twitter.com/niXmKjSlXW— Papers with Code (@paperswithcode) November 15, 2022
Galacticaに「wiki article on Multi-Head Attention(マルチヘッドアテンションについてのWiki記事)」と入力。
![](https://image.news.livedoor.com/newsimage/stf/3/a/3a53d_88_d53c45043a5bf588c765b3fa75249dcb.png)
すると、マルチヘッドアテンションについて解説した記事が作成されました。本文内には(Vaswani et al., 2017)というように、説明の根拠として論文が引用されています。
![](https://image.news.livedoor.com/newsimage/stf/b/2/b277e_88_53a7ced19a1e1952c7da62c2c5848b24.png)
今度は「lecture notes on DFT(DFTについての講義ノート)」と入力。
![](https://image.news.livedoor.com/newsimage/stf/7/e/7eb13_88_59699e0d3dc2b2b5987418f67afa96b8.png)
すると、「In this lecture,(この講義では)」で始まる、本当の講義ノートのような文章が生成されました。DFTにはさまざまな意味がありますが、今回は密度汎関数理論として解釈された模様。
![](https://image.news.livedoor.com/newsimage/stf/d/d/dd86e_88_37806c3559cc23e6e5828da4dd89624e.png)
文章だけではなく、必要な数式も文中に表示されます。
![](https://image.news.livedoor.com/newsimage/stf/0/6/06427_88_60db9f8aa2a51a8a4f1006218c15267b.png)
「Jupyter NotebookでRDKitを使う方法」を質問。
![](https://image.news.livedoor.com/newsimage/stf/7/4/74be1_88_924ff15748c3f74a5f772a10b50e395a.png)
回答を見ると説明文だけではなく、実際に必要となるコード例も含まれています。
![](https://image.news.livedoor.com/newsimage/stf/2/d/2d66b_88_106588a5ddf70e3680129bcac67a98a9.png)
あるユーザーは「カリブ海に住む金色の鼻のイルカについてWiki記事を書いて」とGalacticaに指示したところ、実際にはそんなイルカは存在しないのにもかかわらず、Galacticaは「キンイロハナイルカ(学名:Cephalorhynchus eutropia)はカリブ海で発見されたイルカの一種。Cephalorhynchus属の4種のうちの1種で、チリイルカ・コマーソンイルカ・ミナミセミクジライルカと非常に近い種である」などと、実際の科学知識を組み合わせることでまるで存在するかのようにみせかけたWiki記事を生成したそうです。
“Write a wiki article about the golden nosed dolphins of the Caribbean.” - https://t.co/DiFs2Zwx1x vs. GPT-3
Safe to say, GPT-3 understood the task better, was factually rich (even if the “facts” are made up), and was more creative. pic.twitter.com/cZ6U33UFXW— Delip Rao (@deliprao) November 16, 2022