AI文章を見破る米国ツールの登場に有料クリエーターが戦々恐々…日本語の文章で試してわかった明確な効果
米国で人気のコンテンツ配信プラットフォーム「Substack」が先頃、AIで書かれた文章を検出するツールを導入し、ユーザーの間で物議を醸している。
因みにSubstack（サービス開始は2017年）は日本からも使えるが、恐らく国内では同様のサービスとしてnote（同2014年）の方が遥かに知名度が高いし、よく使われてもいるだろう。いずれにせよ両者の共通点は多いので、以下の話は日本でも参考になるはずだ。
本当によく当たると評判
Substackが導入したAI検出ツールは「Pangram」と呼ばれ、（後で紹介する）元グーグルのエンジニアらが創業したスタートアップ企業の製品だ。
従来のAI検出ツールが疑陽性（人間が書いた文章を誤ってAI製と判定）、あるいは偽陰性（AI製の文章を誤って人間が書いたと判定）など間違いが多かったのに対し、Pangramでは実に「99.99パーセント」の精度で正しく判定すると謳っている。
このPangramをニューヨーク・タイムズの記者が先月実際に使ってみて、製品レビューの中で絶賛している。この記事によれば、記者自身が書いたエッセイから各種SNS上の投稿に至るまで、人間が書いた文章とAI製のそれを何十本も入力して判定させてみたが、Pangramは確かに100パーセントの精度で両者を見分けたという。
ただ、Pangramはどちらかと言うと疑陽性を避ける方向に調節されているため、ごくごく稀に偽陰性のケースが報告されている。この理由はクリエーター（人間）が折角自分で書いたのに、それをAI製と判定される、言わば「濡れ衣を着せられる」ケースを極力抑えるためという。
結果、疑陽性のケースは限りなくゼロに近い。つまりPangramが「これはAI製」と判定した文書はまず間違いなく、その通りだと見ていい。また「（文書全体の）60パーセントがAI製（＝残り40パーセントは人間が書いた）」と判定したら、実際その割合でAI製の文章と人間の書いたものが同一文書の中で混合している事になる。
一体、どのような技術（仕組み）でこれほど高精度な判定を実現したのか興味深いが、この点についてPangramの開発者は「（AI製の文章が発する）大量の微弱なシグナルを組み合わせる（ことで、それを判定する）」と述べている。
が、これでは実質的に何も言っていないのと同じだ。本音は「企業秘密だから話せない」かもしれない。
日本語の文章で試してみると
現在のPangramは公式には英語のサービスだが、事実上は日本語の文章にも対応している。試しに筆者も使ってみることにした。
最初にグーグルのGemini（無料版）が出力した文章を入力したところ、Pangramは「このテキストは100パーセントAI製」と判定した。
次に、筆者が2015年に上梓した「AIの衝撃 人工知能は人類の敵か」（講談社現代新書）の「後書き（おわりに）」の原稿を入力したところ、今度は「このテキストは100パーセント、人間が書いた」と判定した。
改めて断るまでもないが、昨今の生成AIブームを巻き起こしたChatGPTが登場したのは2022年11月だから、それより以前の2015年に書かれた原稿がAI製であるはずがない。
これらの結果から、Pangramは日本語でも「AI製の文章」と「人間が書いた文章」を正しく見分けたことになる。
もちろん、たった2本のサンプルから断定的な評価を下すことはできない。Free Trial（無料のお試し利用）では2本が限界だったので、筆者はここで評価をストップしてしまったが、本来ならちゃんと有料版を契約して、評価を継続すべきところだろう。
が、筆者のかなり乱暴な推察では、今回のGeminiだけでなく、恐らくChatGPTやClaudeなど他の生成AI、さらにはそれらの有料版で製作した日本語の文書を入力しても、Pangramは正しく判定するだろう。
有料コンテンツの読者らが猛反発
冒頭で述べたように、SubstackがPangramを導入したことで、ユーザーの間にかなりの物議を醸した。このAI検出ツールによって、Substack上に出回る大量のエッセイや論考など文章作品の多くが、実はAI製ないしはAIに相当頼って書かれた文書であると判明したからだ。
つまり以前はバズったり注目を集めたりしていた人気クリエーター（作家）らの作品が、実はChatGPTやクロード、Geminiなどがほぼ丸ごと生成した文章だった、ということが、ある日を境に白日の下に晒されてしまったのだ。
特に自分の作品を有料配信しているクリエーター達に対しては、その作品がAI製とバレた場合の反発は大きい。それらを購読していたユーザー達から「これは詐欺だ」という怒りのコメントが集中砲火のごとく浴びせられた。
現時点でも全貌は把握されていないため、これまでAIを多用してきた人気クリエーターらは今、Pangramによってそれを暴露されるのではないか、と戦々恐々としているらしい。
【後編】→AIで書いた文章を見抜くツールの使用をめぐり米国で大論争が勃発中…そもそも使ってはいけないものなのか？
