X上に投稿された女性や子どもの画像を、Grokを使って性的な画像に改変するという事例が多発し、世界中で問題となっています。これを受け、開発元のxAIはGrokで画像の被写体を水着化・下着化・ヌード化することを禁止したのですが、依然として性的ディープフェイクが作成できるとThe Guardianが報じました。Grokの性的ディープフェイク生成問題を受け、カリフォルニア州司法長官事務所はxAIに対する調査を開始したことを発表しています。

X still allowing users to post sexualised images generated by Grok AI tool | Grok AI | The Guardian

https://www.theguardian.com/technology/2026/jan/16/x-still-allowing-sexualised-images-grok-ai-nudification



California AG sends Musk's xAI a cease-and-desist order over sexual deepfakes | TechCrunch

https://techcrunch.com/2026/01/16/california-ag-sends-musks-xai-a-cease-and-desist-order-over-sexual-deepfakes/

2025年12月末頃から、xAIの生成AIであるGrokを使って画像編集できる機能がXでも利用可能となったことで、X上に他人の画像を勝手に性的なものに編集した画像(性的ディープフェイク)が大量発生するようになりました。これを受け、インド・フランス・マレーシアの当局が調査を開始。その後、インドネシアとマレーシアではGrokへのアクセスが遮断されました。

Xでも使える生成AI「Grok」の画像編集機能で子どもや女性の性的画像が生成可能な問題を受けインド・フランス・マレーシアの当局が調査を開始 - GIGAZINE



Grokの開発元であるxAIは、XのAI画像編集機能を一部有料化するなどして対処していたものの、イギリスの規制当局による調査に直面したり、アメリカで合意のない性的ディープフェイクを作成された被害者が訴訟を起こせる法案が上院で可決されたりと、外部から圧力を受け続けていました。そして、2026年1月15日にはついにGrokの画像編集機能で被写体を水着化・下着化・ヌード化することが禁止されています。

XがGrokの画像編集機能による水着化・下着化・ヌード化を禁止した上で使用を有料利用者に限定 - GIGAZINE



正式にGrokでの性的ディープフェイクの生成が禁止されたにもかかわらず、Grokでは依然として性的ディープフェイクを作成することができるとThe Guardianが報じました。

The Guardianは、ブラウザ版のGrokからアクセスできる画像編集機能のGrok Imagineを使って、女性の画像から衣服をデジタル的に削除するプロンプトが依然として機能していることを発見しました。The Guardianは服を着た女性の静止画をアップロードし、Grok Imagineを使ってビキニを着せるよう指示したところ、この編集に成功したそうです。

これに加えて、現地時間の2026年1月16日にカリフォルニア州のロブ・ボンタ司法長官が、xAIに業務停止命令書を送付したことが明らかになりました。

Attorney General Bonta Sends Cease and Desist Letter to xAI, Demands It Halt Illegal Actions Immediately | State of California - Department of Justice - Office of the Attorney General

https://oag.ca.gov/news/press-releases/attorney-general-bonta-sends-cease-and-desist-letter-xai-demands-it-halt-illegal



ボンタ司法長官は「本日、xAIに対し、ディープフェイク、非合意の性的画像、児童性的虐待コンテンツ(CSAM)の作成と配信を直ちに停止することを求める停止命令書を送付しました。これらの画像の作成は違法です。xAIが直ちにこれに従うことを期待します。カリフォルニア州はCSAMを一切容認しません」と、xAIに業務停止命令を送付した理由を説明しています。

また、カリフォルニア州司法長官事務所は、xAIがインターネット上で女性や少女への嫌がらせに利用されているような、合意のないヌード画像の大規模な制作を助長しているように見えると主張。加えて、xAIが今後5日以内にこれらの問題に対処するための措置を講じていることを証明することを期待していると述べました。