【画像】生成AI検索エンジンのPerplexityはクローラーを防ぐ「robots.txt」を無視してウェブサイトから情報を抜き出している 1/3

GIGAZINE（ギガジン）

生成AI検索エンジンのPerplexityはクローラーを防ぐ「robots.txt」を無視してウェブサイトから情報を抜き出している
記事へ戻る

ランキング

  • 総合
  • 国内
  • 政治
  • 海外
  • 経済
  • IT
  • スポーツ
  • 芸能
  • 女子
  1. 1. 見覚えある…大学生娘の51歳彼氏
  2. 2. 契約違反 アイドル3人が一斉脱退
  3. 3. さんま 松本巡る面談の内容告白
  4. 4. 性暴行受けた園児 泣き叫び採血
  5. 5. 火葬中「ありえぬもの」飛び出す
  6. 6. 兵庫県知事選にデヴィ夫人が降臨
  7. 7. 何様だよ 華丸の発言に厳しい声
  8. 8. 彼女は潔白 紗理奈お相手が激白
  9. 9. TBS野球中継 選手の名にSNS騒然
  10. 10. ベストヒット コラボに酷評の嵐
  1. 11. 「カマトト」デヴィが実名で暴露
  2. 12. 兵庫知事選「期日前」が過去最高
  3. 13. ダル 朗希移籍めぐる投稿に警鐘
  4. 14. 地震速報（21:22）
  5. 15. 鈴木奈々「噂のカレ」とのその後
  6. 16. 太鳳の夫と親戚だった有名俳優
  7. 17. 不倫に私見 武井壮に賛同が続出
  8. 18. 結成1年目で紅白内定「誰それ」
  9. 19. 父急死 変わり果てた実家で絶叫
  10. 20. あおり運転 ヤンチャ2人が味方に
  1. 1. 性暴行受けた園児 泣き叫び採血
  2. 2. 火葬中「ありえぬもの」飛び出す
  3. 3. 兵庫県知事選にデヴィ夫人が降臨
  4. 4. 地震速報（21:22）
  5. 5. 「地面師」71歳逮捕 1億円詐取か
  6. 6. 車が燃え中から身元不明の遺体
  7. 7. 園児13人の上履き盗難 犯人映る
  8. 8. 斎藤氏 ロッキー出し最後の訴え
  9. 9. ペット遺体100匹…葬儀社が投棄
  10. 10. 退職代行が言われた衝撃の暴言
  1. 11. 小1殺害で死刑 最後まで謝罪なし
  2. 12. Z李 女児に開錠させ侵入したか
  3. 13. ドンファンマネー 何に使った?
  4. 14. 悪印象 石破氏のネクタイに懸念
  5. 15. 東京・町田で高齢女性死亡＝警視庁
  6. 16. 高知で7歳男児がはねられて重体
  7. 17. 離婚後 毒妻にすべてを奪われる
  8. 18. 事故の片付け中男性はねられ死亡
  9. 19. 「怖い怖い」車内からポイ捨て
  10. 20. 小泉みゆきの行動に「女王様」
  1. 1. 兵庫知事選「期日前」が過去最高
  2. 2. 父急死 変わり果てた実家で絶叫
  3. 3. 玉木氏 職場に不倫相手呼んだか
  4. 4. 人気店で虫混入 被害の声相次ぐ
  5. 5. 元保育士謝罪も「反省の色ない」
  6. 6. 石破首相とトランプ氏の面会見送り　就
  7. 7. 騒動勃発 夫が妻に禁断一言放つ
  8. 8. 岩屋大臣 ゼレンスキー大統領と会談 「…
  9. 9. 「大阪維新の会」内部から突き上げを喰
  10. 10. 石破首相が一句「茂る秋」　奈良の柿レ
  1. 11. 都知事選候補のSF作家に大賞　SNS活用
  2. 12. トランプ次期大統領、石破首相との会談
  3. 13. ＜円高危機＞リーマン同等の危機感で臨
  4. 14. マスコミから急に名前が消えた人
  5. 15. 都知事選は猪瀬直樹氏が当選確実
  6. 16. 古市氏と石丸氏の舌戦に違和感
  7. 17. 司令部移転「決まっていない」＝中谷防
  8. 18. ドンファン元妻 無期懲役は困難?
  9. 19. 鳩山氏の存在は"国辱"級だ
  10. 20. 橋下徹氏が受けた「売国奴」批判
  1. 1. 露の有名バレエダンサーが死去
  2. 2. 破滅の危機? 地球外文明が介入か
  3. 3. ポンペイ遺体 DNA分析で想定覆る
  4. 4. 危機一髪 犬に襲われたヒョウ
  5. 5. シャチが負傷もショー続行 物議
  6. 6. 韓国1美しい女優 お忍び旅行反響
  7. 7. 中国 日本人短期滞在ビザ免除か
  8. 8. ロシア「おとり無人機」混ぜ攻勢
  9. 9. 米の次期国防長官に性的暴行疑惑
  10. 10. 南太平洋に「世界最大のサンゴ」
  1. 11. 巨大サンゴ発見 宇宙から見える
  2. 12. 韓アイドルの来日反対 2万人超え
  3. 13. 独 プーチン氏に露軍撤退求める
  4. 14. パク・シネの愛らしい悪魔に恋に落ちる…
  5. 15. 犬は小型犬の方が賢い 新研究
  6. 16. 露兵死者数は7.8万人超 BBC調査
  7. 17. マスク氏との会談? イランが否定
  8. 18. 習氏 石破首相とペルーで会談
  9. 19. 米 レバノン側に停戦案を提示
  10. 20. イランの核兵器研究施設を破壊か
  1. 1. 全国初 熊本が交通系ICから離脱
  2. 2. 生保会社員の情報漏洩 42万件超
  3. 3. HIKAKINら所属 UUUM上場廃止へ
  4. 4. コーラ禁止 母に絶望し笑顔消滅
  5. 5. 「資さんうどん」初の関東進出へ
  6. 6. 伝説のバイク「メグロ」が復活へ
  7. 7. 大量閉店いきステ 収益改善の訳
  8. 8. 虫が大量発生した部屋に住む少女
  9. 9. 小児白血病の治療方法を確立
  10. 10. 年収600万 年金見込み額に唖然
  1. 11. メルカリ返品詐欺 話題の解決法
  2. 12. iPhoneがペットボトルに…頭混乱
  3. 13. 元ワタミ会長「鰻の成瀬」を称賛
  4. 14. ニトリ会長「実は発達障害です」
  5. 15. 退職金課税 見直し議論が再始動
  6. 16. 激安&激アツ IKEAの100円朝食
  7. 17. 最短5秒 レジ会計なしのコンビニ
  8. 18. 不二家の新春福袋2025 中身公開
  9. 19. 24年版 世界1使われるパスワード
  10. 20. SalesForce障害 災害情報に影響
  1. 1. 「iPhone SE4」来年3月発売か
  2. 2. 発明 PS5の熱でピザをアツアツに
  3. 3. Facebookが「ヌード写真が多すぎる」「…
  4. 4. 郵便局初 ポイント制度を開始へ
  5. 5. 【連載エッセイ】映画監督・武 正晴の…
  6. 6. 音質が好評 3000円のイヤホン
  7. 7. [渡邊聡の映像業界、この人が氣になる]…
  8. 8. じぇじぇじぇー麺？ 「じゃじゃ麺」っ…
  9. 9. Still Life Imaging -素晴らしき物撮影…
  10. 10. マスクが年賀ノベルティに変身！　お正
  1. 11. 最高傑作を超えた - タイガーの高級炊…
  2. 12. 高輝度ランタン＆大容量バッテリーを手…
  3. 13. モトローラの防水＆FeliCa対応の新フォ…
  4. 14. ビッグセール「Amazonブラックフライデ…
  5. 15. 「オアシス再結成」を祝うイベントが都…
  6. 16. 動画を投稿すると日産の「ルークス」が
  7. 17. わずか10分で組み立て可能、兵士を銃弾
  8. 18. ジャストシステム 福良社長が語る！ATO
  9. 19. 新製品ニュース : EIZO　ColorEdge CS2…
  10. 20. 【レポート】街で女子中学生が開発した…
  1. 1. TBS野球中継 選手の名にSNS騒然
  2. 2. ダル 朗希移籍めぐる投稿に警鐘
  3. 3. FA決定? SB選手投稿に意味深反応
  4. 4. Z李逮捕 RIZIN・CEOが危機感露わ
  5. 5. ヤクルト突然退団…Xで近影投稿
  6. 6. 菊池雄星 MLB6球団での争奪戦に?
  7. 7. WBSC 侍JがOPラウンド無敗3連勝
  8. 8. タイソン敗戦に「ゴミ」王者落胆
  9. 9. セクハラ告発 なでしこ2部が声明
  10. 10. 下部行き 河村勇輝の「課題」
  1. 11. 大谷 五輪出場が困難な3つの理由
  2. 12. アギーレ氏流血 スタンドから缶
  3. 13. 侍J勝利「超アウェー」に動じず
  4. 14. タイソンの相手 終了前にお辞儀
  5. 15. 谷口彰悟 手術で長期離脱へ
  6. 16. 巨人がFA3人取り?「乱獲」再来か
  7. 17. 「ミスター駅伝」横溝さん死去
  8. 18. 侍Jに敗北 韓国掲示板が大荒れ
  9. 19. 世界一イケてる「ド軍妻」に注目
  10. 20. DeNA発表 戦力外の左腕2人を獲得
  1. 1. 契約違反 アイドル3人が一斉脱退
  2. 2. さんま 松本巡る面談の内容告白
  3. 3. 彼女は潔白 紗理奈お相手が激白
  4. 4. 何様だよ 華丸の発言に厳しい声
  5. 5. ベストヒット コラボに酷評の嵐
  6. 6. 「カマトト」デヴィが実名で暴露
  7. 7. 鈴木奈々「噂のカレ」とのその後
  8. 8. 太鳳の夫と親戚だった有名俳優
  9. 9. 不倫に私見 武井壮に賛同が続出
  10. 10. 結成1年目で紅白内定「誰それ」
  1. 11. 森高千里の「寝姿」スタジオ騒然
  2. 12. 「嫌いな芸人で有名」東野が告白
  3. 13. 松浦亜弥 歌唱する姿が流れ反響
  4. 14. 娘は5歳 紅蘭の子連れ飲酒が物議
  5. 15. 松本「俺は間違ってない」姿勢か
  6. 16. 市村優汰に呆れ声 母は夜遊びも
  7. 17. 菊川怜 離婚報道は作戦勝ち?
  8. 18. 「菅田将暉の弟」紅白報道が物議
  9. 19. 今後SMAPの共演続く? 期待高まる
  10. 20. 香澄に指摘「みな実なぞってる」
  1. 1. 岡江さん娘 母の死に複雑な思い
  2. 2. 妊娠7週目と報告 身に覚えない夫
  3. 3. 受付に回される女性 残酷な真実
  4. 4. 若見え「アカ抜けショートヘア」
  5. 5. 略奪婚 慰謝料のせいで生活一変
  6. 6. 実はわざと…空っぽのご祝儀袋
  7. 7. 61歳実母の恋が「本当にイタい」
  8. 8. 今冬に活躍?「中わたアウター」
  9. 9. 人気「着痩せブラ」秋の新色2色
  10. 10. 浮気中と断言できる「証拠」3つ
  1. 11. めんどくさいと感じる女性の行動
  2. 12. チ・チャンウクが衝撃の変身！闇に生き…
  3. 13. 掃除機は週に何回? ママ達の声
  4. 14. 見逃せない ユニクロの注目作
  5. 15. ランキング上位 GUアウター4選
  6. 16. 「秘密をバラすね?」夫に復讐
  7. 17. 即買い DAISOのディズニー巾着
  8. 18. しまむら 秋の1軍ジャケット
  9. 19. 「最近の女は教養が足りない」モラハラ…
  10. 20. 将来ダメ夫に? 男性の要注意言動