主页 / server / 问题 / 398331
Accepted
NimChimpsky
Asked: 2012-06-14 07:24:00 +0800 CST

webcrawler 机器人对我的网站进行负载测试，但未通过测试

  • 772

我们经营一个商业网站，每次只有很少的客户~30 个用户。

诸如 google bot、bing bot 和 80legs 之类的网络爬虫通常会使我们的网站瘫痪。更改 robots.txt 不会立即生效。反正他们是立即停止 80legs 吗？它正在使用不同的 ip。

tomcat robots.txt

1 个回答

  1. Best Answer

    来自http://wiki.80legs.com/w/page/1114616/FAQ#HowdoInbspslowdown008whencrawlingmysite

    如何在抓取我的网站时减慢 008 的速度？

    最简单的解决方案是联系我们，让我们知道您希望我们以什么速度限制对您网站的抓取（以请求/秒为单位）。

    当然，您也可以检查用户代理和速率限制和/或完全阻止这些请求。

    • 1

相关问题