記事のポイント

欧州のパブリッシャーは北米と比較してAIボットによるスクレイピング被害を大きく受けており、訪問者に対するAIボットの割合が非常に高いことが判明した

被害が拡大する原因として、欧州の多様な言語環境が挙げられ、AI企業が非英語コンテンツの学習データを求めてスクレイピングを活発化させていると推測される

一方で別のセキュリティ企業のデータでは欧州と北米で被害に一貫した差は見られず、調査手法やパブリッシャーの規模によって結果にばらつきが生じている状況だ


欧州のパブリッシャーは、北米のサイトよりもAIボットによるスクレイピングの被害を大きく受けている。そして、その理由は誰にもよくわかっていない。

AIコンテンツ収益化スタートアップのトールビット（TollBit）による最近のレポートによると、欧州のサイトはAIボットによってより多くスクレイピングされ、リファラルはより少なく、robots.txtのルール（Webサイトがクローラーに対して、何をスクレイピングしてよく何をしてはいけないかを伝えるために使うもの）がより頻繁に無視されていることがわかった。

レポートが示した主な調査結果



以下は、40のスクレイピングベンダーによるAIボットを3906のパブリッシャーにわたって特定したトールビットの分析にもとづく、そのレポートの主な調査結果である。

1サイトあたりのAIスクレイピングの中央値は、欧州のサイトが北米のサイトと比べて4倍高かった。欧州のパブリッシャーは、AIボットの訪問179回につき、AIアプリからの人間によるリファラル訪問をわずか1回しか受け取っていない。これは北米のサイトより3倍以上悪い割合である。

2026年上半期には、欧州のサイトへの外部リファラルのうち、AIアプリ経由のものはわずか0.05％（人間の訪問33回につきAIボットのスクレイピングが約1回）で、北米の0.16％と比べて低かった。

そして状況は悪化しつつある。欧州のサイトへのAIスクレイピングは、2026年1月と比べて6月には20％近く増加した。地域ニュースサイトとスポーツサイトが、四半期ごとの成長率でもっとも高い伸びを示した。レポートによると、スクレイピングとリファラルの比率は、2026年第1四半期の150対1から、2026年第2四半期には227対1に上昇した。

スクレイピングを禁じる欧州のサイトのrobots.txtの指示は、その中央値で見て、北米のサイトより3倍近く多く無視されていた。

原因は言語の多様性か



トールビットの共同創業者であるオリビア・ジョスリン氏は、この格差の原因について、欧州は北米よりも言語が多く、LLM（大規模言語モデル）がさまざまな言語を学習し、さまざまなソースからコンテンツを引き出そうとするなかで、欧州のパブリッシャーがボットによるスクレイピングの被害をより多く受けているのではないかと推測した。

INMAのリサーチャー・イン・レジデンスであるグジェゴシュ・ピェホタ氏も同じ見解を示したが、彼の主張は利用データにもとづいている。2025年9月のアンソロピック（Anthropic）の統計によると、米国のクロード（Claude）ユーザーはクロード利用全体の5分の1以上（21.6％）を占めており、英語圏の国々は世界のクロードユーザーの3分の1に満たない。

つまり、クロードの利用の大半、ひいてはスクレイピング活動の大半は、非英語のコンテンツに結びついている可能性が高く、それが欧州のパブリッシャーがより大きな被害を受けていることを説明づけるだろう、とピェホタ氏は述べた。

「非英語の情報に対する消費者の需要が、AI企業とそのデータ供給元の戦略に影響を与えている」とピェホタ氏は述べた。

「たとえば、近年、Google、OpenAI、マイクロソフト（Microsoft）は、AIを多言語のオーディエンス、とりわけ欧州のオーディエンスにとってより適切なものにするための研究や取り組みを発表している」。

その結果、コモンクロール（Common Crawl）のようなAI向けのデータ供給元は、より多くの非英語コンテンツを収集しはじめた、と彼は述べた。欧州の国別ドメインは、2009年にコモンクロールが収集したページのわずか4.75％を占めるにすぎなかった。ピェホタ氏の分析によると、2026年にはそれが約29.98％を占めるまでになった。

「巨大テック企業とAI業界は、複数言語での高品質な情報への需要に追いつきつつあるようだ」とピェホタ氏は述べた。

トールビットのレポートの調査結果のもうひとつの理由として考えられるのは、同社の顧客基盤、ひいてはデータセットに含まれるパブリッシャーの構成だ、とピェホタ氏は指摘した。

トールビットの分析に含まれた4000社近くのパブリッシャーのうち、456社が欧州のパブリッシャーで、テレグラフ（Telegraph）からリンギエ（Ringier）、シュティリア（Styria）まで多岐にわたっていた。

食い違う各社のデータ



一方で、クラウドフレア（Cloudflare）のインターネット追跡ダッシュボード「クラウドフレア・レーダー（Cloudflare Radar）」の責任者であるライ・イー・オルセン氏によると、クラウドフレアのデータでは、欧州のパブリッシャーが北米のサイトよりもボットの被害を多く受けているという結果は出ていない。

ボットのリクエストの絶対数は、一貫して北米のほうが多い、と彼女は述べた。

しかし、メディアおよびパブリッシング分野の顧客から得たクラウドフレアのデータによると、欧州のパブリッシャーは、北米のサイトと比べて、サイトへの全リクエストに占めるボットからのリクエストの割合が高い。言い換えれば、欧州のサイトはボットのトラフィックのより高い割合を引き寄せているが、北米のサイトのほうがボットの活動の総量は多いということだ。

サイバーセキュリティおよびボットブロックの企業であるデータドーム（DataDome）のデータもまた、トールビットの調査結果のような、欧州と北米のパブリッシャーのあいだの一貫した差は示していない、と同社の脅威リサーチ担当バイスプレジデントであるジェローム・セグラ氏は述べる。

AIボットによるスクレイピングには、パブリッシャーごとに「大きな」ばらつきがあり、それはおそらくパブリッシャーの知名度や規模、そしてどれだけのスクレイピングが自らを名乗るボット（それゆえ追跡しやすい）によるものかにもとづいている、と彼は述べた。

「われわれ自身のデータでは、（地域を問わず）調査した個々のパブリッシャーのなかには、人間の訪問10回につきAIの訪問が約1回に達するほどのAIトラフィックを示したところもあった。これは、地域ごとの平均を超えて見てみれば、AIエージェントがサイト全体のトラフィックのなかでいかに大きな割合を占めうるかを浮き彫りにしている」と彼は述べた。

どの情報源にもそれぞれの理論があり、どの理論もそれぞれ異なる方向を指し示す別々のデータセットに裏づけられている。たしかにスクレイピングは現実に起きているが、その背後にある理由については、いまだ議論の余地がある。

［原文：European publishers are getting hit harder by AI bot scraping, report finds］

Sara Guaglione（翻訳、編集：藏西隆介）