Amazonなどのオンライン通販サイトでは、製品に対して寄せられたユーザーレビューをAIが要約する機能が導入されています。AIによる要約は便利かもしれませんが、新たな研究ではAIが元レビューのニュアンスを変えてしまい、人々の購買意欲を変化させる可能性があると報告されています。

Quantifying Cognitive Bias Induction in LLM-Generated Content - ACL Anthology

https://aclanthology.org/2025.ijcnlp-long.155/



Reading AI summaries makes people more likely to buy something - despite alarming 60% hallucination rate | Live Science

https://www.livescience.com/technology/artificial-intelligence/reading-ai-summaries-makes-people-more-likely-to-buy-something-despite-alarming-60-percent-hallucination-rate

AIは商品レビューやメディアコンテンツの要約、医療診断支援といった多様なアプリケーションに組み込まれており、人々はAIの要約やメッセージを参考にさまざまな意思決定を行っています。確かに、AIが長い文言や多種多様な意見を要約してくれるのは便利かもしれませんが、要約の過程で元の文章にあったニュアンスが喪失・改変されたり、幻覚(ハルシネーション)が混入したりするリスクも生じます。

そこでカリフォルニア大学サンディエゴ校の研究チームは、AIが生成したコンテンツに生じるバイアスや、AIによる要約が人間に及ぼす認知的影響について調べました。

研究ではまず、GPT-3.5-turbo・Llama-3.2-3B-Instruct・Llama-3-8B-Instruct・Phi-3-mini-4k-Instruct・Qwen3-4B-Instruct・Gemma-3-27B-ITといった大規模言語モデルに、メディアのインタビュー記事やAmazonレビューなどを要約させました。

AIの要約によって、記事やレビューの全体的な感情的ニュアンス(否定的・中立的・肯定的)がどのように変化したのかをまとめた表が以下。「MediaSum(メディア要約)」と「Amazon(Amazonレビュー)」の両方で、「Neu→Pos(否定的→肯定的)」「Neu→Neg(中立的→否定的)」「Pos→Neg(肯定的→否定的)」、あるいはその逆のニュアンス改変が起こっていることがわかります。テスト対象の前モデルを平均すると、26.42％でニュアンス改変が生じていたとのこと。



今回の研究では、AIに入力したコンテンツの中盤が反映されにくい「lost in the middle現象」と呼ばれる現象も確認されました。特にコンテンツの冒頭部分を偏って反映する「primacy bias(プライマシーバイアス)」が強く見られ、全体の10.12％で生じていたと報告されています。

また、研究チームはAIのトレーニングが終了した後に報じられたニュースについて、AIが真偽を識別できるかどうかも調査しています。その結果、AIは偽造されたニュースを識別する能力が一貫して低く、事実と虚偽を識別する能力が低いことが示されました。

かつてカリフォルニア大学サンディエゴ校でコンピューターサイエンスを研究し、記事作成時点ではサウジアラビアのキングサウード大学で講師を務めているアビール・アレッサ氏は科学系メディアのLive Scienceに対し、「大規模言語モデルはニュース記事の内容が実際に起こったかどうかについて誤った判断を下す傾向があります。モデルの学習が完了した後に実際に起こった出来事であっても、モデルはそれが起こらなかったと誤って判断する可能性があります」と述べています。



続いて研究チームは、AIによる要約が人間の意思決定にどのような影響を及ぼすのかを調べる実験を行いました。実験には72人の被験者が参加し、「人間による製品レビュー」または「元の製品レビューのAI要約」を読み、製品を購入する意欲について回答しました。

AI要約によるニュアンス改変の影響を調べるため、今回は人間による製品レビューが「中立的あるいは否定的」だったものの、AI要約で「肯定的」なニュアンスに改変されたものが使用されたとのこと。また、被験者には「多数派の意見と一致した場合のボーナス報酬」も提示され、被験者には世間一般の人々と同じであろう選択をするインセンティブが与えられていました。

実験の結果、被験者は「人間による中立的あるいは否定的な製品レビュー」を読んだ場合よりも、「AIによる肯定的な製品レビュー」を読んだ場合の方が、製品を購入する意欲が高まることが示されました。

以下のグラフは「Coffee water filter(コーヒーフィルター)」「Electricc kettle(電気ケトル)」といった日用品について、「人間による元のレビュー(中立的が灰色・否定的が赤色)」と「AIが要約した肯定的なレビュー(緑色)」を読んだ場合の購入意欲を示したもの。どの製品においてもAIによる肯定的な製品レビューは購入意欲を高めることがわかります。特に、人間による元のレビューが否定的だった場合は購入する割合が52％でしたが、このレビューがAI要約で肯定的なニュアンスに改変された場合、購入する割合は84％まで高まりました。



今回の研究結果は、AIによるニュアンスの改変が消費者の判断や購買行動を大きく変化させる可能性を示しています。アレッサ氏は、医療文書の要約や学校の入学審査などの場面では、AIによるニュアンス改変がより大きな影響を及ぼす可能性があると指摘。「こうした状況では表現の切り替えにより、人物や事案に対する受け止め方が変わってくることがあります」と述べました。