ChatGPTなどの生成AIは、人間によるものとしか思えない文章や画像を作ることができます。一方で、文章や画像がAIによるものかどうかを検出するツールを、スタンフォード大学やChatGPTを開発したOpenAIがリリースしていたり、ニューヨークタイムズが複数のAI画像の検出ツールをテストした結果をレポートしていたりと、人力では判断しづらい「AIか人間か」を判別する検出ツールも多数登場しています。しかし、検出ツールに委ねて判断した結果、不正行為のぬれぎぬを着せられて解雇まで至ったケースについて、クリエイター支援サイトのAuthoryを運営するエリック・ハウク氏が報告しています。

How AI detectors can destroy innocent writers' livelihoods

https://authory.com/blog/how-ai-detectors-are-destroying-livelihoods



生成AIは非常にクオリティの高い文章や画像を生み出すことができますが、オリジナルの作品が求められる創作の分野や論文の執筆など、AIを使用することが望ましくないケースもあります。カンザス大学の研究チームが開発した論文検出ツールでは、99％の精度でAIに書かれた論文を判別できるとされています。

ChatGPTで書かれた科学論文を99％以上の精度で検出できるツールが開発される - GIGAZINE



一方で、AI検出ツールの不正確さが問題になることもあります。イスラム原理主義組織のハマスがイスラエルを攻撃したことで発生した大規模紛争では偽の写真や動画が数多くSNSに出回っているとされており、そこでAI検出ツールが活用されました。その中で、イスラエル政府がSNSに投稿した紛争の悲惨さを伝える画像が、とあるユーザーにより「AI検出ツールにかけたらAIによる偽物と判明しました」と指摘されました。しかし、デジタル操作された画像検出の専門家は、その画像にはAIによって生成された形跡はないと主張しました。

AI生成画像検出システムがイスラエルとパレスチナの戦争の写真を「ニセモノ」と誤判定、専門家はAIで生成したものではないと指摘 - GIGAZINE



ハウク氏は、ライターのマイケル・バーベン氏(仮名)がAI検出ツールに大きな被害を受けたケースを紹介しています。ハウク氏によると、バーベン氏は3年間フリーランサーとして活動し、さまざまな出版物に約200の記事を執筆してきました。しかしある日突然、主要な寄稿先から「AI検出ツールの使用を開始した結果、あなたの記事がAIによるものである可能性が95％と判別されました」と告げられたそうです。さらに、バーベン氏がそれまで寄稿した記事のすべてが「AIによる記事である可能性が65〜95％」と通知され、バーベン氏は即時契約を打ち切られました。

バーベン氏によると、「AIによる記事である可能性が65〜95％」と判断された記事の多くはChatGPTがリリースされるより前に書かれたものでした。また、バーベン氏はAIではなく自力による執筆だと主張するためにできる限りのことを試み、クライアントに執筆プロセスや進捗状況などGoogleドキュメントの完全な履歴を公開しました。しかし、AI検出ツールによる疑惑は決定的で、バーベン氏は職を失うことになってしまいます。

この件が抱える大きな問題点として、ハウク氏はまず「一般的なAI検出ツールの精度には疑問があります」と指摘しています。バーベン氏のケースは非常に極端な外れ値の1つですが、一般的なAI検出ツールにおいて誤検知は標準的で、OpenAIもAI検出ツール「AI classifier」をリリースした半年後に「AI classifierは精度が低いため、現在利用できません」として公開を停止しています。

OpenAIがAI生成の文章かどうか判別するツールを「精度が低い」という理由でこっそり終了 - GIGAZINE



ハウク氏によると、確かにChatGPTなどの生成AIは特定のスタイルを使用した文章を生成しますが、それは少しプロンプトを工夫すると簡単に変更できるそうです。また、完全に手動でライティングしているライターでも、いわゆる「ChatGPTライク」な書き方が身についている人もいます。そのため、「ここの断片に基づいて、AIによって書かれたコンテンツを検出しようとすることは、ムダな試みです」とハウク氏は述べています。

また2点目に、AI検出ツールが大々的に宣伝する「99％の精度」といった数字が疑わしいとハウク氏は指摘しています。AI検出ツールを2000記事に対して実施した場合、トピックや独特のスタイルが原因として、AIによる文章が区別しやすい可能性があります。しかし、ハウク氏は「このような小さなデータセットに基づく精度は、基本的には無意味です」と述べ、AI検出ツールの場合はサンプルサイズが10万は必要だと語っています。

最後に最大の問題点として、作家にはAI検出ツールのブラックボックスな仕組みから身を守る手段がないという点が挙げられています。「AIによる文章である」という証明はツールの結果だけで行われますが、「AIによる文章ではない」と主張するには、自分の作品に要した準備やリサーチ、書き方のプロセスの説明など多くの作業が必要になります。しかし、バーベン氏のケースではそれを行ったにもかかわらず、疑念を解消することはできませんでした。