ChatGPTが間違った答えを出すことはないだろうと、多くの人が考えがちだが……（写真：JYPIX／PIXTA）

ChatGPTを用いて学習を進めることは、非常に楽しく、また便利な方法だ。しかし、その回答には誤りが含まれている可能性がある。したがって、このような学習方法を採用すると、誤った知識を身につけてしまう危険がある。これに対して警告を発することは、緊急の課題だ。昨今の経済現象を鮮やかに斬り、矛盾を指摘し、人々が信じて疑わない「通説」を粉砕する──。野口悠紀雄氏による連載第102回。

ChatGPTは誤った回答を出すことがある

ChatGPTなどの大規模言語モデルは、誤った回答を出すことがある。これは「ハルシネーション」と呼ばれる現象であり、深刻な問題だ。ChatGPTは2021年9月までのデータしか学習していないため、それ以降の事柄については答えられないはずだ。それにもかかわらず、答えを出すことがある。また、2021年9月以前の情報についても、頻繁に間違う（具体的な例は後述する）。

BingやBardなどウェブ検索を行うツールでは、間違いが少なくなると思われがちだが、実際には、これらを用いても頻繁に誤りが生じる。

ChatGPTはすでにさまざまな場面で広く利用されている。日本政府も国会答弁の作成などに利用するとしている。そうした利用が実際に行われるようになれば、大混乱が起きる可能性がある。

ChatGPTは、家庭教師としてすでに広く利用されている。本欄7月9日の記事で紹介したように、アメリカでは人間の家庭教師からChatGPTへの切り替えが急速に進んでおり、約4割の学生がこれを個人的な家庭教師として利用している。だから、誤った知識を学んでしまうという問題は、現実に存在する問題だ。

日本でも、かなりの学生が利用している可能性がある。したがって、これへの対処は、日本でも現実に緊急な課題だ。

ChatGPTなどが誤った答えを出すこと自体は、かなり広く知られるようになった。ただし、多くの人は、それは最近の事態に関するものであり、勉強の対象になっているような知識については、関係ないと思うだろう。

実際、前記の記事で紹介したアンケート調査（教育関連のオンライン雑誌Intelligent.comが6月8日に公表した調査結果）においても、どの科目に使っているかという質問に対して、まず数学、そして化学や生物学などのハードサイエンスについての利用が挙げられている。

これらについての知識はすでに確立されたものであり、ChatGPTもそれらを学習しているはずだから、間違った答えを出すことはないだろうと多くの人が考えがちだ。

しかし、実際にはそうではない。

円周率πが3.05より大きい理由→ChatGPTの説明は？

数学の問題についてもそうだ。例えば、「円周率πは3.05より大きい数字であることを証明せよ」という問題がある。これは2003年に東京大学の入学試験で出題され、さまざまなところで引用される有名な問題だ。

この問題をChatGPTに解かせたところ、次のような答えが返ってきた。「円周率πの値は3.1415……であり、これは確立された知識です。この値が3.05より大きいことは明らかです」。この答えは、形式論理的に言えば、確かに間違っていない。しかし、入試でこのように書いたら、おそらく0点だろう。

そこで、「円に内接する正多角形の辺の合計で近似するという方法（アルキメデスの方法）を用いて証明してください」と指摘したところ、正六角形を用いた証明を提出した。しかし、直径と半径を取り違えるという初歩的なミスを犯した。

この誤りを指摘し、正十二角形でやれば答えが得られると誘導したところ、正しい答えを出した。従って、ChatGPTがこの問題を解けないわけではない。しかし、誘導しないかぎり、全く不十分な答えだった。

また、ごく初等的な問題を間違える場合もある。例えば、ChatGPTは、27は素数だと言ったことがある。連立方程式を解かせたら間違った答えを出したこともある。

では、社会科の勉強はどうか？

「最近のことはわからないかもしれないが、歴史のことはわかるだろう」と考えがちだ。しかし、これについても頻繁に間違いがある。

指摘すると間違いを認め、場合によっては正しい答えに修正する。しかし、これでは、こちらが家庭教師になってしまうわけで、おかしなことだ。

ところで、ChatGPTを用いて歴史の勉強をするのは楽しいことだ。知りたいことや、それまで疑問に思っていたことなどをピンポイントで尋ねることができ、それに対して簡潔な答えが返ってくる。だから、興味を失わずに歴史の勉強を進めることができる。このような利点は、是非とも活かしたい。さまざまな勉強にChatGPTを使えれば、大変効果的だ。

そのような面白さがあるから、歴史をはじめとするさまざまな科目で、すでにChatGPTを用いて勉強をしている学生や生徒が多数いるはずだ。しかし、彼らは、それとは知らずに、誤った知識を学んでいる危険がある。

これは非常に深刻な事態だ。これに対して学生や生徒に注意を喚起することは、いますぐ行うべき、緊急の課題だ。

危険性はガイドラインで強調されていない

日本では、東京大学をはじめとするいくつかの大学がChatGPTの利用についての見解を表明している。それらによれば、ChatGPTだけで論文を書くことは適切でないとされている。文部科学省が7月4に発表した生成AIに関するガイドラインも、同様の姿勢だ。論文コンテストなどにChatGPTだけを用いて書くことが適切でないということが述べられている。しかし、上で述べたようなハルシネーション問題は、重視されていない。

教育におけるChatGPTの利用についての公的機関の見解はいくつかある。まず、2023年1月に、ニューヨーク市が公立学校での利用を一時禁止して話題となった。しかし、利用を認めるべきだという声が強く、2023年5月に、これを解除した。

ユネスコ、世界銀行、OECDなどの国際機関も、勧告やレポートを出している。そこでは、教育現場におけるChatGPTの利用について、おおむね肯定的な考えを打ち出している。その反面で、ハルシネーションの問題については、あまり強調されていない。

実は、ChatGPTと同じ問題は、すでに起っている。メタが2022年11月に発表したGalacticaは、4800万件の科学論文を学習しており、科学的な質問に答えたり、文献調査ができるとされていたのだが、実際には、デタラメな内容が含まれているとして批判が相次ぎ、わずか2日で公開中断に追い込まれた。

いまChatGPTで起きているのも、それと同じことなのだが、Galacticaのように問題視されないのは、不思議なことだ。

プラグインでも解決できない

ChatGPTの側においても、さまざまな対応策が考えられている。第一は、ウェブの検索を可能にすることだ。

まず、2023年5月から、有料版であるGPT-4にBingが内蔵され、最新情報も扱えるようになった。しかし、有料サイトも閲覧できるという利用者からの報告があり、このサービスは7月3日に停止された。問題が解決し次第、復旧するとしているが、今のところ休止されたままになっている。

もう1つは、プラグインサービスの提供だ。これはサードパーティーが開発したさまざまなアプリをChatGPTにプラグインして利用するもので、5月からGPT-4の全ユーザーに解禁された。

この中には次のようなものもあり、ハルシネーションの問題の解決に役立つのではないかと期待されていた。第一に、学術的な内容に対して答えるWolfram、第二に、ウェブの記事に接続するWebPilot。

しかし、これによって事態が改善されたかというと、そうはいえない。私が実験した限りでは、前述したような問題は依然として残っている。

今後、さまざまな改善策がなされていくだろうし、ChatGPT本体の性能も向上するだろう。ただし、現状では、ハルシネーションの問題は解決されていないことに注意が必要だ。教育現場におけるChatGPTの利用に関しては、この点に十分の注意を払う必要がある。


この連載の一覧はこちら

（野口 悠紀雄 ： 一橋大学名誉教授）