主页 / server / 问题 / 128937
Accepted
Zak
Asked: 2010-04-03 14:32:09 +0800 CST

如何限制谷歌对我的 IP 块的抓取？

  • 772

我在一个/24网络中有几个网站，它们都被谷歌定期抓取。通常这很好。但是，当 google 开始同时抓取所有站点时，支持此 IP 块的一小部分服务器可能会受到很大的负载影响。

使用 google 网站管理员工具，您可以对给定域上的 googlebot 进行速率限制，但我还没有找到一种方法来限制通过 IP 网络的 bot。有人有这方面的经验吗？你怎么修好它的？

google web-crawler

4 个回答

  1. 我发现这些笔记很有趣

    1. 给自己一个 smart robots.txt和其他robots.txt帖子那里
    2. 受谷歌机器人困扰的人在谷歌的肮脏小秘密上的帖子
    3. 谷歌网络爬虫
    • 3

  2. 你可以去谷歌，用站长工具创建一个账户，然后你就可以控制每个网站的抓取速度。转到站点配置::设置::抓取速度。这不会让您按我不相信的特定顺序安排您的网站，但您至少可以减慢所有网站的速度。

    • 2
  3. Best Answer

    如果您运行 BGP，您可以简单地对 AS15169 (AS-GOOGLE) 进行速率限制，但手动操作可能太容易出错。

    • 1

  4. 不，不可行。您必须将其放入每个站点的 robots.txt 中。谷歌 - 正确 - 没有告诉“IP地址所有者”可以这么说。所有控制都来自网站上的 robots.txt。

    • -3

相关问题