近年では生成AI技術の発展に伴って、AIを使用した性的な画像「ディープフェイクポルノ」の生成が容易になっていることから、世界各国でディープフェイクポルノによる嫌がらせが社会問題化しています。これを受けてサンフランシスコ市検事局が、ディープフェイクポルノを生成できる人気のウェブサイト16件に対し、閉鎖と損害賠償の支払いを求める訴訟を提起しました。

Complaint_Final_Redacted.pdf

(PDFファイル)https://www.sfcityattorney.org/wp-content/uploads/2024/08/Complaint_Final_Redacted.pdf

City Attorney sues most-visited websites that create nonconsensual deepfake pornography - City Attorney of San Francisco

https://www.sfcityattorney.org/2024/08/15/city-attorney-sues-most-visited-websites-that-create-nonconsensual-deepfake-pornography/



San Francisco Files Nation’s First Suit Over AI Pornography (1)

https://news.bloomberglaw.com/litigation/san-francisco-files-nations-first-suit-over-ai-generated-porn

San Francisco sues AI-generated deepfake porn sites

https://sfstandard.com/2024/08/15/ai-generated-deepfake-porn-sites-sued-by-san-francisco/

サンフランシスコ市検事局は、2024年上半期だけで合計2億回ものアクセスがあった16のウェブサイトが、ユーザーが女性の画像を「ヌード化」できるようにするオープンソースの画像生成モデルを悪用していると主張。また、AIが生成したディープフェイクポルノの被害者は「深刻な心理的、経済的な被害を受けるだけでなく、インターネット上に画像が拡散されることで悪評を被る可能性があります」と述べています。

さらに、これらのサイトでは画像を生成するためにユーザーに対してサブスクリプション料金の支払いを求めていますが、一部のサイトでは、無料トライアルを実施しているとのこと。この結果、年間数百万枚ものディープフェイクポルノが生成され、その大部分が女性を対象としていることが指摘されています。

デビッド・チウ検事は「ディープフェイクポルノはイノベーションなどではなく、性的虐待であることをはっきりさせなければなりません。この問題は私たちができるだけ早く解決する必要がある重大な問題です」と述べています。



サンフランシスコ市検事局はこれらのサイトの運営者約50人に対し、「被害者の同意なしにディープフェイクポルノを生成することにより、リベンジポルノの禁止など、州法および連邦法に違反している」としてウェブサイトの閉鎖と損害賠償を支払うことを求めています。カルン・ティラク副検事は「現時点ではこれらのウェブサイトがどの画像生成AIを使用しているかを明確に判断することはできません。しかし、Stability AIのオープンソース画像生成AIであるStable Diffusionの初期バージョンは、ディープフェイクポルノなどに悪用される傾向があります」と語りました。

チウ検事は「私たちは皆、AIを使用して子どもを含む実在の人々を搾取し虐待する悪質な人物を取り締まるために、それぞれの役割を果たす義務があります」と宣言しています。なお、訴訟の対象となったウェブサイトの運営者は今回の訴訟についてコメントしていません。