ソーシャル掲示板サイトとして知られるRedditが、BingやDuckDuckGoなどの検索エンジンによるコンテンツのクロールをブロックしていることを、ニュースサイトの404mediaが指摘しています。指摘によれば、Redditのコンテンツを取得して検索結果に表示可能なのはGoogleだけだとのことです。

Google's Exclusive Reddit Access

https://www.404media.co/email/4650b997-7cc3-4578-834c-7e663ed3d516/

404mediaによると、RedditはコンテンツのクロールをGoogleにだけ許可し、robots.txtを用いて、BingのほかDuckDuckGo、Mojeek、Qwantなどをブロックしているとのこと。

手元環境のBingで検索をかけたところ、検索結果なしとはならず、Redditのコンテンツがヒットしました。



しかし、これは過去にクロールした情報が表示されているだけのようなので、「ツール」から時間指定で「1週間以内」を指定してみます。



「結果がありません」になりました。



一方のGoogleでも確認を行ってみます。



すると、普通に直近の情報も表示されました。



ブロック措置の原因だと推測されているのは、GoogleがRedditと結んだ、コンテンツをAIのトレーニングに活用する契約です。GoogleはRedditに対してライセンス料として年間6000万ドル(約90億円)を支払っているとみられています。

GoogleがRedditの投稿内容をAPIでリアルタイム取得してAIのトレーニングに活用へ、Redditは新規株式公開目前 - GIGAZINE



ただ、Redditの広報を担当するティム・ラスシュミット氏はニュースサイト・The Vergeのコメント要請に対して「今回の件はGoogleとの提携とは無関係です。Redditのコンテンツ利用について、我々は複数の検索エンジンと交渉中です。しかし、AIの利用を含めて、強制力のある約束をすることができない、あるいはする気がない人たちがいるため、全員との合意には至っていません」と述べています。

Reddit is now blocking major search engines and AI bots - except the ones that pay - The Verge

https://www.theverge.com/2024/7/24/24205244/reddit-blocking-search-engine-crawlers-ai-bot-google