lanl.arxiv.org数学和科学预印本服务（以前称为xxx.lanl.gov ）对忽略其Robots Bewarerobots.txt的机器人有严格的政策。在该页面上，有一个链接标记为“单击此处启动针对您的站点的自动‘搜索和销毁’”，这是他们禁止的，但可能表现不佳的机器人会跟随它，并承担后果。问题是，实际后果是什么？我从来没有勇气真正点击那个链接来看看它做了什么。他们能做什么既有效又合法？robots.txt
AskOverflow.Dev
