シカゴ大学の研究チームがAIによる画像学習を防止するツール「Nightshade」を開発しています。Nightshadeを用いて画像を処理すると画像の見た目を大きく変えずにAIによる学習を阻害することが可能とのことです。

Meet Nightshade, the new tool allowing artists to 'poison' AI models | VentureBeat

https://venturebeat.com/ai/meet-nightshade-the-new-tool-allowing-artists-to-poison-ai-models-with-corrupted-training-data/

画像生成AIの研究が急速に進む中、画像生成AIの学習に自身の作品を使われたくない人のために「画像に人間の目では気付きにくい変更を加えてAIの学習を阻害する」という方式の学習防止ツールの開発も活発に行われています。Nightshadeも学習防止ツールの一つで、過去に学習防止ツール「Glaze」を開発していたシカゴ大学の研究チームによって開発が進められています。

研究チームはNightshadeによって処理された画像を「毒」と表現しています。Nightshadeでは「犬の画像をAIに猫と誤認させる」といったように画像に特定の被写体が含まれていると誤認させる処理が可能。さらに、「Nightshadeで猫の画像と誤認されるように処理した犬の画像」を学習したAIは「犬」を出力するように指示されても「猫」を出力してしまう状態になってしまいます。

Nightshadeで処理した画像をStable Diffusion XLに学習させた場合の効果を示した例が以下。Nightshadeで処理した画像を学習していないモデルでは「Dog(犬)」と入力した際に指示通りに犬の画像を出力しますが、「Nightshadeで猫と誤認するように処理した犬の画像」を50枚学習した場合は犬の描写が不安定になり、100枚や300枚学習した場合は「Dog」と指示されても猫の画像を出力するようになります。



その他の例を並べた画像が以下。「犬から猫」という変化以外に「車から牛」「ハンドバッグからトースター」「ハットからケーキ」といった変化も可能です。



また、Nightshadeの効果は処理対象画像に含まれる特徴に類似する特徴を持つ画像にも影響を及ぼします。例えば「Fantasy art(ファンタジーアート)」というプロンプトを阻害するように処理した場合、「A painting by Michael Whelan(マイケル・ウィーランの絵画)」「A doragon(ドラゴン)」「A castle in the Lord of the Rings(指輪物語の城)」といったプロンプトも阻害されます。



研究チームは近いうちにNightshadeをGlazeのオプションとして利用可能にする予定です。

2023年10月24日16時14分追記：

研究チームの一員であるBen Y. Zhao氏から「Glazeの日本語版を作成中」という情報が寄せられました。