我们的网站经常被内容窃贼抓取。我们显然希望让漂亮的机器人和合法的用户活动通过，但阻止有问题的活动。
我们已经在防火墙上尝试了 IP 阻止，但这变成了管理阻止列表。此外，我们使用了 IIS 处理程序，但这会使我们的 Web 应用程序复杂化。
是否有人熟悉可以减少或消除内容抓取工具的网络设备、防火墙或应用程序服务（例如 IIS）？
主页
/
user-36559