2023年1月下旬から2月にかけて、世界的シンガーソングライターであるテイラー・スウィフト氏のディープフェイクポルノがインターネット上で拡散される事態となり、X(旧Twitter)では拡散防止のため一時「Taylor Swift(テイラー・スウィフト)」が検索不可能になりました。そんなスウィフト氏のAI製ポルノ画像は、海外掲示板の4chanで行われている「画像生成AIのセーフガードを突破するチャレンジ」の参加者がゲーム感覚で作った可能性があるとのことです。

Fake and Explicit Images of Taylor Swift Started on 4chan, Study Says - The New York Times

https://www.nytimes.com/2024/02/05/business/media/taylor-swift-ai-fake-images.html



Taylor Swift Deepfakes Originated From AI Challenge, Report Says - Bloomberg

https://www.bloomberg.com/news/articles/2024-02-05/taylor-swift-deepfakes-originated-from-ai-challenge-report-says

4chan daily challenge sparked deluge of explicit AI Taylor Swift images | Ars Technica

https://arstechnica.com/tech-policy/2024/02/4chan-daily-challenge-sparked-deluge-of-explicit-ai-taylor-swift-images/

X(旧Twitter)では2024年1月の第4週頃から、AIで生成されたスウィフト氏のディープフェイクポルノ画像が拡散されるようになりました。フェイクポルノ自体は以前から存在していましたが、世界中にファンを持つスウィフト氏が標的になったことでさらに大きな注目を集め、フェイクポルノを禁止するための法案提出に向けた動きも活発化しています。

AIによるディープフェイクポルノ作成に対して訴訟を提起できるようになる法案が提出される - GIGAZINE



そんな中、ソーシャルメディアのフェイクニュースについて研究する調査会社のGraphikaは、スウィフト氏のAI製ポルノ画像が海外掲示板の4chanのコミュニティに由来するという調査結果を発表しました。ポルノ画像は1月上旬に4chanのスレッドで作られ、その後Telegramにも共有され、最終的にXで拡散されたとみられています。

Graphikaが発見したスレッドでは、OpenAIのDALL・E、Microsoft Designer、Bing Image Creatorといった画像生成AIのセーフガードを回避することが奨励され、フィルターを回避するために役立つ単語やフレーズが共有されているとのこと。最終的な目標は歌手や政治家などのポルノや暴力的な画像を作成することであり、ユーザーらはゲーム感覚で画像の生成に取り組んでいるそうです。

これらのスレッドに参加する4chanユーザーらは、ゲームやチャレンジを通じてきわどいコンテンツを生成・共有することで、コミュニティとのつながりを感じたり名声を集めたりしています。実際にスウィフト氏のAI製ポルノ画像を生成したスレッドでは、数人のユーザーが他のユーザーから称賛の声を浴びていたほか、画像生成に用いたプロンプトを共有するように懇願されたりしていました。

Graphikaのシニアアナリストであるクリスティーナ・ロペス氏は、「これらの画像は、生成AIのセーフガードを回避するという『チャレンジ』に動機付けられた人々のコミュニティから発信されたものであり、新たな規制はチャレンジを達成するための新たな障害に過ぎないと見なされます。さらなる悪用を根本から防ぐには、この悪意ある活動のゲーム化された性質を理解することが重要です」とコメントしています。



4chanでAI製ポルノ画像のターゲットになっているのはスウィフト氏だけではなく、すでにスウィフト氏よりも頻繁に取り上げられている女優や歌手、政治家がいるとのこと。ロペス氏は、「これは世界的な有名人から小学生まで、誰もがこのように標的になる可能性があると示すものです」と指摘し、誰もがAI製ポルノの被害者になり得ると主張しています。

今回被害に遭ったスウィフト氏の場合、多くのファンがスウィフト氏を守ろうと声を上げましたが、一般人がこのように強力な支援を受けることは困難です。過去にも、ディープフェイクポルノの被害急増に法規制が追いついておらず、被害に遭った子どもたちが守られないことが問題視されていました。

AIで顔と裸を合成する「ディープフェイクポルノ」の被害に遭った女子高生たちにほとんど救済の道がないことが問題に - GIGAZINE