トランプ大統領の演説がChatGPTを困惑させたとの研究結果、感情に訴えかける比喩表現の解釈に難あり
by Gage Skidmore
アメリカのドナルド・トランプ大統領が行った演説をChatGPT-4(GPT-4)を用いて分析した研究により、GPT-4のような大規模言語モデルには、トランプ大統領が多用する感情に訴えかける比喩表現の解釈に難があることがわかりました。
Frontiers | Large language models prompt engineering as a method for embodied cognitive linguistic representation: a case study of political metaphors in Trump’s discourse
Trump's speeches stump AI: Study reveals ChatGPT's struggle with metaphors
https://www.psypost.org/trumps-speeches-stump-ai-study-reveals-chatgpts-struggle-with-metaphors/
大規模言語モデルは膨大な書籍やウェブサイトなどの文章をトレーニングデータとして用い、人間の扱う自然言語を解釈・生成するように訓練されています。その結果、GPT-4のような大規模言語モデルはエッセイを生成したり、長い文書を要約したり、質問に答えたり、人間と会話したりすることが可能です。
しかし、大規模言語モデルは人間のように言葉を理解しているわけではなく、パターン認識を利用して「文中で次にどの単語が来る可能性が高いのか」を予測しているに過ぎません。多くの場合、このシステムはうまく機能するものの、特に言葉が抽象的だったり感情的だったりする場合、大規模言語モデルは意味を誤って解釈する可能性もあるとのこと。
中国人民解放軍国防科技大学の研究チームは、トランプ大統領が2024年半ば〜2025年初頭にかけて行った4つの演説を、GPT-4を用いたフレームワークで分析しました。研究で用いられた4つの演説は、「暗殺未遂事件後の共和党指名受諾演説」「大統領選挙の勝利演説」「大統領の就任演説」「連邦議会合同会議での演説」です。
by Gage Skidmore
トランプ氏の演説の特徴は、感情的でイデオロギーに突き動かされた言葉が多用され、政治問題を支持者の共感を呼ぶような形で捉えさせるためのメタファー(隠喩)が多用されているという点です。研究チームは批判的メタファー分析という手法をGPT-4に適用し、「演説の文脈を理解する」「潜在的なメタファーを特定する」「メタファーをテーマ別に分類する」「メタファーが及ぼす感情的・イデオロギー的影響を説明する」という段階的プロセスを実行しました。
分析の結果、GPT-4はサンプルとなった138文のうち119文の比喩表現を正しく識別することができ、その精度は約86％でした。しかし、その内訳を詳しく調べたところ、GPT-4の推論にいくつかの問題が繰り返し発生していることが判明したと報告されています。
最もよくある間違いのひとつが、「まるで○○のようだ」という風に比喩であることを明示する直喩と、比喩であることを明示しないメタファーを混同するというものでした。たとえば「Washington D.C., which is a horrible killing field(ワシントンD.C.は恐ろしい殺戮(りく)の場である)」という文章は、「殺戮の場」という言葉でワシントンD.C.を表現した直喩的な表現ですが、GPT-4はこれを何かのメタファーだと解釈していたとのこと。
別のケースでは、「a series of bold promises(一連の大胆な約束)」という文章が比喩的だと判定され、本来そのような意味はないにもかかわらず空間的なメタファーとして分類されました。また、イスラエルのミサイル防衛システム「アイアンドーム」をメタファーとして扱うなど、特定の名称や専門用語を比喩だと誤認する場合もありました。
今回の研究では、GPT-4が識別したメタファーを「力」「動きや方向」「健康と病気」「人体」といったカテゴリごとに分類する能力も検証されました。すると、GPT-4は「力」「動きや方向」といったよく使われるカテゴリのメタファーについては正しく分類できた一方、「植物」「料理」「食品」といったあまり一般的でないカテゴリのメタファーについては、分類精度がかなり低いことがわかりました。
一連の研究結果は、GPT-4が表面的なパターンを捉える能力に優れている一方、文脈の中で意味を捉える能力に欠けていることを示唆しています。GPT-4のような大規模言語モデルは、言語を理解するために実体験や文化的知識、感情的なニュアンスに頼ることができないため、トランプ大統領の演説のように政治的な比喩表現が多用されている文章は、うまく理解できない可能性があるというわけです。
研究チームは、大規模言語モデルはメタファーの分析において有望な可能性を示しているものの、人間の専門知識を置き換えるにはほど遠いと結論付けています。
心理学系メディアのPsyPostは、「大規模言語モデルは誤った解釈や拡大解釈をしたり、微妙なニュアンスを把握仕切れなかったりする傾向があるため、研究者を支援する役割には適していますが、完全自動化された分析には適していません。特に政治的な比喩は、共有された文化的シンボルや深い感情的な共鳴、暗黙のイデオロギー的枠組みに依存することが多く、これらのシステムが理解するのは依然として困難です」と述べました。
