SNSに画像を投稿したら…AIがデマ断定、「犯罪者」「合成」のいわれなき罵詈雑言 被害写真家が語る“トンデモ解説”の恐怖
いつものようにSNSに写真をアップしたら、突如炎上して罵詈雑言を浴びせられた。原因を作ったのは、なんとAI！ AIが書き込んだウソ解説を信じた人たちが攻撃を始め……。
Xでそんなひと昔前のSF小説の書き出しのようなことが起こり、36万人のフォロワーを抱える写真家を炎上騒ぎに巻き込んだ。一方、AIが作成する画像や動画は日に日に完成度が上がり、もはや玄人でも簡単に見分けがつかないという。騙されないために知っておきたいAIの“落とし穴”とは。【華川富士也／ライター】
＊＊＊
【画像】“インドネシアの火山”の誤判定を受けたtoshiboo氏撮影の1枚＆AIを信じたアカウントから罵詈雑言の数々
AIのせいで炎上被害にあったのは、SNSで作品を披露しているtoshibo氏。廃墟や奇景の写真・動画を撮影してXやYouTubeにアップし、Xではその投稿が10万、100万、時には1,000万単位のインプレッションを叩き出すインフルエンサーだ。2月からは「週刊新潮」グラビアページで「シリーズ ニッポン異界紀行」の連載も始まった。
“事件”が起きたのは2025年12月5日のことだった。東京で最低気温1.2度を記録し、一気に寒さが厳しくなったその日、toshibo氏はある画像を投稿した。それは使い捨てカイロの材料を造る工場で、舞い上がる赤い火の粉とその近くで働く男性などを写した4枚の写真だ。炎によって全体が赤く染まり、実に迫力がある。寒い時期の季節ネタとして過去にも数回アップしたものだった。
toshibo氏によれば、この写真を撮影したのは2022年。
「友人と別の場所へ撮影に行った帰り、奈良県某所を車で走っていたら、工場内に上がる炎と煙が見えたんです。火災か！？と思い、慌てて駆けつけました。煤まみれのおじさんがいて、『火事ですか？大丈夫ですか？』と声をかけると、使い捨てカイロの材料のひとつを作っている工場だと教えてくれたんです。窯の中で木屑を蒸し焼きにしているところでした。その場でお願いし、許可をもらって撮影しました」
ほどなくその写真をXに投稿したところ、199万ものインプレッション数があった。以降、「冷え込み始めたなと思うとアップしてました」とtoshibo氏の冬の定番ネタとなる。翌23年11月にアップした際には、644万インプレッションを記録するなど、上げる度に100万単位のインプレッション数を稼ぐ人気投稿になっていた。
そして昨年12月5日にも、toshibo氏は「寒くなると見せたくなる」とのコメントと共に、このインパクトある写真を投稿。今回も、その3日後には250万インプレッションを突破する人気を見せていたのだが、広まっていく中でネガティブな反応も呼び寄せていた。
Grok「デマです」で大炎上…犯罪者扱いまでされて
あるアカウントから「これはウソ？本当？」と写真の真偽を問われるコメントが寄せられていたまでは、まだよかった。だが、別のアカウントがXの生成AIチャットボット「Grok」に「これはデマ？」とたずねると、Grokが思わぬ返答をする。なんと「デマです」と言い切り、さらに「写真はインドネシアのカワ・イジェン火山の硫黄採掘現場のもの」とまったく関係のない場所を具体的にあげたのだ。さらには「（使い捨て）カイロの製造工場ではありません」「ジョークとして広まったようです」と、まるでtoshibo氏が捏造した“ウソ写真”かのように扱ってしまった。
Grokが「デマ」と断じたことで、攻撃的なポストが増殖していった。
Grokを真に受け、インドネシアの写真をネット上から流用したと考えたのか「人が撮った写真を使って著作権侵害してるのでは？犯罪者か。通報した」という罵倒や、「別の場所の映像をAIに取り込ませて作っている」とのウソ合成写真扱い、またtoshibo氏に対して謝罪を求めたり、粘着質的な絡み方をするポストなどが相次いだ。ついには「コミュニティノート」（ユーザーが補足情報を追加する機能）を立てて「バズり目的の悪質な虚偽です」と“断定”をする者まで現れた。
AIのミスをきっかけにtoshibo氏への攻撃が始まり、炎上状態になってしまったのだ。しかもタイミング悪く、
「Xが炎上している頃、イベント中だったので、全くSNSは見てませんでした。Xってネガティブなリアクションがあると、通知が来るんですよ。いつもならそれを見て補足説明を書き込むんですけど、イベントに出ていたためできませんでした」（toshibo氏）
訂正求めGrokを“ゴン詰め”
一方、炎上に気がついたtoshibo氏の友人たちは、Grokのミスを正すべく訂正ポストを始める。
共に奈良のカイロ材料工場を訪れたsaho.氏とスカイフィッシュ氏が「一緒に撮った写真です」「当時一緒に行って現場にいた方からそのように話を聞いたのでデマでないです」と、写真は捏造ではなく実際に使い捨てカイロの材料工場で撮影したものであり、書かれた内容にもウソはないと証言した。
またGrokの検証が雑であることを見逃さず、複数回に渡って再検証を促すアカウントも現れた。Grokは何度再検証を指示しても「カイロ製造工場ではなく、ジョーク」「デマです」と頑としてミスを認めず。だが、このアカウントはGrokが見逃している事実を指摘し“ゴン詰め”した。すると「カワ・イジェンの青い炎や黄色い硫黄とは一致せず、活性炭製造の炭焼き窯（日本国内）とみられます。以前の検証ミス訂正、ありがとう」と前言を撤回してミスを認めたのだ。
しかし、このアカウントはここで手を緩めなかった。間違いを繰り返した原因をGrokに考察させ、「同じ間違いを繰り返す原因は、主に以下の通りです（中略）改善のため、初回から包括的な多角検証を強化します」と反省まで引き出したのだ。
ここからさらにGrokを詰めるアカウントも現れ、Grokは「初期判断は炎の色や煙の視覚的類似性に基づき、カワ・イジェンと一致すると見なしました。ただし、詳細（鉄骨など）が追加され再検証した結果、訂正に至りました。分析は逐次深化するため、初回は不十分だった点が原因です。改善に努めます」とミスの原因を明らかにし、反省の弁を述べたのだった。
また炎上に油を注いだ「バズり目的の悪質な虚偽」と決めつけたコミュニティノートは、他のアカウントからの「私見や憶測である」「役に立たなかった」という評価が多かったため、X上に表示されなくなった。
騒動を振り返りtoshibo氏は
こうして炎上騒動は治まったが、toshibo氏は「僕がSNSにアップしている写真は、全て自分で現地に足を運んで撮影したものです。使い捨てカイロ材料工場の光景は、これまで全く見たことない類いのものでした。世に知られていないものをAIが正しく判断してできるわけがないのに、と思っていました」と当時の心境を振り返る。
集積された過去のデータから予測し言語化するAIは、過去にデータが無いものは正しく判断できない。toshibo氏の言うように、カイロ工場に関するデータはネット上になく、AIが正確な答えを出せる対象ではなかった。にも関わらず、わかったような返答をしていたことが問題を引き起こした。いわゆる「ハルシネーション」と呼ばれるAIの“落とし穴”である。今回の炎上騒動は、まさにそのAIの落とし穴が原因だった。
ちなみに、Googleで「AI 間違い」と検索すると、「AIの間違い（ハルシネーション）は、事実と異なる情報や根拠のない内容を、もっともらしく生成する現象です。学習データの不足や誤り、確信を持った推測により発生し、医療などの重大な場面で誤解を招くリスクがあるため、常にファクトチェックが必要です」ということを、AIが回答する。
AIによる解説はまだまだ信頼度が低いことを頭に置いておかないと、とんでもないミスをし、恥をかくことになりかねない。そんなことを雄弁に語る騒動だった。
進化する「フェイク」
とはいえ、AIの誤りを見分けるのは簡単でなくなっている実情もある。今回の騒動が示すように文字解説の能力は“まだまだ”であるのに対し、画像・動画の生成能力については「もう簡単には見分けがつかない」レベルまで到達しているという。
先の衆院選でもフェイク動画が問題になった。AIが作成したリアルな動画をフェイクだと知らずに好評価をつけたり、拡散する人が相次ぎ、時にバズったのだ。
「去夏に、AIが生成する動画のレベルがググっと大きく上がった。それ以降、人が撮った動画かAIか、我々でも簡単には見分けがつかなくなった」
と語るのは、動画も手掛けるあるAI絵師だ。ひと昔のように顔の形や指の数、腕の位置が不自然な制作物はほぼなくなり、実に自然かつ完成度が高い動画をAIが吐き出すようになったというのだ。
「AIは数ヶ月ごとに大きく進化する。これからますます本物かAIが生成したものか見分けがつかない動画が出てくるでしょう」
AIが日常に浸透していくことはもう止められない。ネット上の情報に接する時、我々は文字も動画も情報を鵜呑みにせず、一旦立ち止まって考えるクセをつけなければいけないのだろう。
華川富士也（かがわ・ふじや）
ライター、構成作家、フォトグラファー、記録屋。長く勤めた新聞社を退社し1年間子育てに専念。現在はフリーで活動。洋楽、邦楽、建築、旅、町、昭和ネタなどを得意とする。シリーズ累計200万部以上売れた大ヒット書籍に立ち上げから関わりライターも務めた。
デイリー新潮編集部
