by Ungry Young Man

大規模言語モデルはまるで人間が書いたような自然な文章を生成することが可能で、言われなければAIが書いた文章を見抜くことが困難なケースもあります。ピッツバーグ大学の研究チームがAI生成の詩と人間が書いた詩の識別可能性と評価に関する研究を行ったところ、なんと人間はAIの書いた詩を好む傾向にあったとわかりました。

AI-generated poetry is indistinguishable from human-written poetry and is rated more favorably | Scientific Reports

https://www.nature.com/articles/s41598-024-76900-1



Shakespeare or ChatGPT? Study finds people prefer AI over real classic poetry

https://phys.org/news/2024-11-shakespeare-chatgpt-people-ai-real.html

この研究では、2つの実験が実施されました。

1つ目の実験では1634人の参加者を対象に、チョーサー、シェイクスピア、バトラー、バイロン、ホイットマン、ディキンソン、T・S・エリオット、ギンズバーグ、プラス、ラスキーといった英語圏の著名な詩人10人の詩が使われました。研究チームは各詩人の作品5編と、ChatGPT 3.5が生成した詩5編を用意。参加者は本物5編とAI生成5編をランダムな順序で読み、それぞれの詩について人間が書いたものかAIが生成したものかを判断しました。

その結果、参加者の正答率は46.6％で、50％を下回りました。さらに興味深いことに、AI生成の詩の方が人間の詩よりも「人間が書いた」と判断される確率が高くなったとのこと。特に「人間が書いた」という判断された割合で見た時、下位5本となった詩はすべて本物の詩人による作品でした。



2回目の実験では、696人の参加者を「すべて人間が書いた」と告げられたグループ・「すべてAIが生成した」と告げられたグループ・作者について何も告げられなかったグループの3つのグループに分け、1つ目実験で使用した詩の一部について、質やリズム、イメージ、音、美しさ、着想、叙情性など14の特性について7段階で評価してもらいました。

結果として、AIが生成した詩は、オリジナリティを除く13の特性すべてにおいて人間の詩よりも高い評価を得ました。研究チームによると、特にリズムの面では大きな差が見られたそうです。また、「AIが生成した」と告げられた場合、実際の作者に関係なく評価が低くなる傾向が見られました。



このような結果となった理由について、研究チームは「AI生成の詩が比較的理解しやすい内容だからではないか」と推測しています。

例えば、AIが生成した詩の場合、プラスの文体を模倣した作品は「悲しみ」について、ホイットマンの文体を模倣した作品は「自然の美しさ」について、バイロンの文体を模倣した作品は「美しく悲しい女性」についてと、テーマが明確だったとのこと。一方、実際の詩人の作品はより複雑で深い解釈を必要とします。詩を専門的に学んでいない一般読者は理解しやすい詩を好む傾向があり、かつAIはそのような理解しやすい詩を書けないだろうという先入観があるため、好ましいと感じた詩を人間のものだと誤って判断する結果になったと研究チームは分析しています。

研究チームは、AIの能力が急速に進化することで、「これほどクオリティの詩はAIに書けないはず」という従来のAIで通用した判断基準が、新しいAIではまったく通用しなくなる可能性があると指摘し、AIの使用に関する透明性の規制の必要性を訴えています。