生成AIが作成した要約に誤った情報が含まれていると、読んだ人は元の映像を自分で見ていたにもかかわらず、誤情報に沿って出来事を思い出してしまう可能性があることをジョージタウン大学とワシントン大学の研究チームが報告しました。

[2609.28820] AI-Enabled Human Memory Manipulation: Misleading AI-Generated Summaries Distort Human Memory

https://arxiv.org/abs/2609.28820

New Research Finds That Misleading AI-Generated Summaries Can Distort Human Memory | College of Arts & Sciences | Georgetown University

https://college.georgetown.edu/news-story/new-research-finds-that-misleading-ai-generated-summaries-can-distort-human-memory/

ChatGPTなどの生成AIは長い文章や会議の記録を短くまとめられるため、ニュースの要約から業務用の議事録まで幅広く使われています。警察官のボディカメラ映像から報告書を作成するといった、内容の正確さが特に重要になる用途にもAIの導入が進んでいます。AIが間違える可能性への対策としては、人間が出力を確認して誤りを修正する「ヒューマン・イン・ザ・ループ」という考え方が一般的です。

一方、人間の記憶もあやふやなものです。心理学では出来事を体験した後に誤った情報を与えられると元の出来事についての記憶まで変化する「誤情報効果」が長年研究されており、研究チームは「AIの出力を人間がチェックする」という仕組みでも、AIの間違いを読んだ人間自身の記憶が影響を受ける可能性があるのではないかと考えました。

研究チームはまず、OpenAIのChatGPT-5.5とGoogleのGemini 2.5 Flash-Liteに25秒間の交通事故映像を要約させました。映像は「赤い自動車が交差点を右折し、道路に出てきた歩行者と衝突する」という単純な内容で、一方には一時停止標識、もう一方には「道を譲れ」を示す標識が登場します。それぞれのAIに各映像を5回ずつ要約させ、合計20件の要約を調査しました。

AIには「事実に基づく中立的な文章にする」「推測を加えない」「重要な出来事をすべて含める」と明確に指示していましたが、それでも20件すべての要約に誤りがあり、平均305語の要約には最低7件、最大21件の間違いが確認されました。また、研究チームが重要と判断した19項目のうち平均51.6％が要約から抜け落ちており、映像の中心的な出来事である「自動車が歩行者に衝突した」という情報さえ20件中19件、つまり95％の要約で省略されていたとのこと。



AIによる要約自体にかなりの誤りが見つかったため、研究チームは次に「誤った要約を読んだ人の記憶がどう変化するのか」を実験しました。アメリカ在住の成人328人に交通事故の映像を見せ、24時間から48時間後に同じ出来事について書かれた21文の要約を読ませました。

参加者には要約が「AIによって作成されたもの」または「プロの人間によって作成されたもの」と説明されましたが、実際の文章はすべてChatGPTを使って生成されたものです。研究チームは実験条件をそろえるため文章の一部を調整し、映像と一致する標識が書かれた正確な要約と、一時停止標識と「道を譲れ」を示す標識を入れ替えた誤った要約を用意しました。その後、参加者には要約ではなく「最初に自分が見た映像」を思い出して質問に答えるよう求めました。

正確な要約を読んだ参加者では83.6％が元の映像に登場した標識を正しく回答しましたが、誤った要約を読んだ参加者の正答率は44.8％でした。一方、要約に書かれていなかった「事故が昼間だったか夜だったか」という質問には96.6％が正答したほか、11件の周辺的な記憶問題でも平均91.4％が正解しており、映像全体の記憶が失われていたわけではなく、要約で誤情報を与えられた標識について回答が大きく変化したことが分かります。



また、要約をAIが書いたと説明された場合と人間が書いたと説明された場合で、標識の正答率に統計的に有意な差は確認されませんでした。参加者がAIをどれほど信頼しているかや、普段どれほどAIを利用しているかについても標識の正答率との有意な関係は確認されず、研究チームは「AIは間違える」と知っているだけでは、誤情報による記憶への影響を防ぐには十分でない可能性があると指摘しています。

過去の研究では、AIチャットボットから誤解を招く質問をされた被験者が偽の記憶を形成しやすくなることが明らかになっていました。過去の研究ではAIとの対話や誘導が主なテーマでしたが、今回の研究では「出来事の後からAIによる要約を読む」という形でも記憶が影響を受ける可能性が示されています。

AIによる尋問で人間が偽の記憶を植え付けられてしまう危険があることが明らかに - GIGAZINE



研究チームは今回の研究だけでは一般化に限界があるとして、今後は実際の警察官のボディカメラ映像などを対象に、AIが作成した要約が警察官と市民のやりとりについての記憶や認識を変化させるのかを調査したいとしています。