対話型AI「ChatGPT」を開発する米OpenAIが1月31日(現地時間)、AIが生成した文章を検出するツール「AI Text Classifier」を公開した。精度については「完全ではない」としているので、注意が必要だ。

OpenAIが判別ツール「AI Text Classifier」を公開した

ChatGPTは2022年11月末の公開後、一気に利用が広まった。対話形式で質問に答えることから、論文作成に使用されるなどの問題も指摘されている。

米国ではニューヨーク市教育局をはじめ、シアトル州の公立学校などでも、ChatGPTなどのAIツールを禁止する動きが相次いでいる。

OpenAIが公開したAI Text Classifierは、ChatGPTなどのAIが生成した文章かどうかを検出するためにチューニングしたGPTモデル。判別したい文章をペーストして提出すると、ラベルをつけてくれる。現時点で文字数の上限は1000字(英文では150〜250ワードに相当)となっている。

人間が書いた文章とAIが作成した文章を識別できるというが、完成度は高くないようだ。OpenAIによると、英文のチャレンジセットで評価したところ、AIで生成した文章を「AIで書かれた可能性が高い」と正確に識別する真陽性は26%、

一方で、人が書いた文章をAI生成と誤認識する偽陽性は9%だという。そのため「すべてAIが作成した文章を確実に検出することは不可能」と強調している。

併せて、AIが生成した文章を編集することで検出ツールを回避できるとも記している。また、大人が書いた英語のコンテンツを使ってトレーニングされているため、子供が書いた文章、英語ではない文章は誤認識が起こる可能性がある点も警告している。

ツールを公開することで「このような不完全なツールが有用かどうか」についてのフィードバックを得たい、と公開の狙いを記している。