生成系AIに安易に依存するのは、大変危険である（写真：show999／PIXTA）

生成系AIにインターネット上の情報を読ませると、誤読することが多い。それを用いた出力は正しい情報と似ているので、正しいかどうかの判別が難しい。安易に依存すると、大変危険だ。

昨今の経済現象を鮮やかに斬り、矛盾を指摘し、人々が信じて疑わない「通説」を粉砕する──。野口悠紀雄氏による連載第97回。

生成系AIは、ウェブの数字を正しく読めない

前回（警告｢ChatGPTを信じる人｣が破滅する明快な理由）、生成系AI（用語解説）の出力を信じるのは、極めて危険だと述べた。そこでは、ニューヨークの弁護士がChatGPTから得た虚偽の判例を裁判で用いた事件を引用した。これはChatGPTの出力をそのまま使った例だ。

それ以外の使い方をしても、同じような問題が起きる。特に問題となるのは、ウェブサイトにある記事などを利用する場合だ。

前回は、統計のデータを読むことを考えた。生成系AIを用いた検索エンジンであるBingやBardは、インターネットの統計サイトを開き、そこにある統計データを教えてくれる。しかし、正しく読まずに、間違って読む。

前回述べた例だけではない。その後も、対象サイトを変え、指定の方法を変え、何度も実験してみた。しかし、ことごとく失敗。

ただし、例外が1回だけあった。それは消費者物価指数のサイトにある数字をBardが正しく読んだことだ。ただし、このとき指定したページには、数字が6個しかない。そのうちの1個を読んでほしいと指示しただけのことだ。だから、正しい答えが返ってきても当然。人間なら、小学生でもできる。

繰り返すが、私が正しい答えを得たのは、このときだけだ。なお、このとき、Bingは間違った答えを出した。

以上の実験からわかるのは、生成系AIを用いて統計データを取得することは、現段階では無理ということだ。データがあるサイトやページを指定しても、このような状態だ。ましてや、統計のあるサイトを指定もせずに、単に目的の数字だけをBingやBardに尋ねても、正しい答えは得られないと考えるべきだろう。

要約や翻訳を頼む場合にも注意が必要

以上で述べたことは、統計データの取得に限った問題ではない。

生成系AIは、文章の要約や翻訳をやってくれる。これを知ったとき、私は大変便利になったと思った。とくに、インターネット上の記事を、この方法で簡単に読めるようになると思った。

しかし、統計データに関して上のような問題があるのだから、記事一般についても同じ問題があるはずだ。

実際にやってみると、そのとおりであることがわかった。

第一に、記事を厳密に指定しないと、間違った記事を読むことがある。同じサイトにある別の記事など、指示したのとは違う記事を読んでしまう場合もある。URLやタイトルだけを示すと、こうした事故がおきやすい。

URLと記事のタイトルの両方を示せば、指示した記事を読んでくれる場合が多いように思われるが、必ずそうしてくれるかどうかは、わからない。

要約を頼むと、正しい記事に書いてあることに関連した内容が出てくるので、まったく見当違いのことをやっているのではないと思うのだが、本当に目的の記事を読んだのかどうかは疑問だ。どうもおかしいと感じるときがある。きちんと読んでおらず、適当な内容をでっち上げている場合もあるように思う。

いかにもそれらしい内容なので、騙されてしまう危険がある。

仮に生成系AIが記事を正確に読んでくれれば、記事のURLとタイトルを示すだけで、その要約や翻訳を頼めるので、非常に便利だ。しかし、現在では、誤った記事を読んでしまうリスクのほうが大きいと思われる。

つまり、生成系AIは、インターネット上の情報を読むのだが、正しく読んでいない場合がある（あるいは、そうした場合のほうが多い）ということになる。

もし答えがまったく見当違いであれば、間違っていることがわかる。しかし、出力するのは、いかにもそれらしき内容だ。だから、多くの人は信じてしまうだろう。

もちろん、検索エンジンは、これに注意を発している。Bingは「驚きや間違いが起きる可能性があります」と言っているし、Bardは「生成される情報は不正確または不適切な場合があります」としている。だから、問題が起こった場合の責任は、BingやBardの側にあるのではなく、利用者の側にある。

しかし、利用者がこの注意書きをどの程度重大なものと捉えているかは疑問だ。多くの人は、MicrosoftやGoogleが提供しているサービスであれば、信頼できると考えてしまうのではないだろうか？　そして、結果を正しいものとして、そのまま使ってしまうことは大いにあり得る。

インターネット上には、信用できない記事が溢れている。そのとおりなのだが、生成系AIはそれをさらに間違って伝えるということになる。

ただし、これは、生成系AIが利用者を騙そうとして、意図的にやっていることではない。機能が不十分だから、こうしたことになるのだ。この現象は、「幻覚」とか「幻視」（Hallucination：ハルシネーション）と呼ばれるものだ。

生成系AIを通じてインターネットの記事を読むのは、かなり危険だ。　

テキストファイルを貼り付ければ、要約や翻訳に使える

以上のような事故を防ぐには、記事をコピーしてテキストファイルにし、それを貼り付ければよい。

コピーするためには、目的の記事をすでに入手していることが必要だ。「入手している資料をAIに読んでもらっても何の意味もない」と思われるかもしれない。しかしそうではない。それを要約したり翻訳したりすることを生成系AIに依頼することができる（このサービスは、BingやBardだけでなく、ChatGPTもやってくれる）。

これは生成系AIの極めて便利な利用法だ。とくに、外国語の文献を翻訳してもらえるのは、非常に便利だ。これに関しては、生成系AIの出力を信頼することができる。


この連載の一覧はこちら

（野口 悠紀雄 ： 一橋大学名誉教授）