lanl.arxiv.org数学和科学预印本服务（以前称为xxx.lanl.gov ）对忽略其Robots Bewarerobots.txt的机器人有严格的政策。在该页面上，有一个链接标记为“单击此处启动针对您的站点的自动‘搜索和销毁’”，这是他们禁止的，但可能表现不佳的机器人会跟随它，并承担后果。问题是，实际后果是什么？我从来没有勇气真正点击那个链接来看看它做了什么。他们能做什么既有效又合法？robots.txt
AskOverflow.Dev
所以......这是一个会浪费 10 分钟非常天真的机器人时间的页面。可能对打击恶意机器人毫无用处，但在面对写得不好的网站抓取工具时可能会节省一些带宽。
除了旋转一点之外没有任何后果。大多数浏览器（可能还有他们的服务器）会在一段时间后超时。与机器人相比，他们可能只会对自己造成更大的伤害。