我的网络服务器 (apache2) 不断受到恶意机器人的攻击，要求提供如下 URL：
/blog/tag/pnphpbb2//index.php?name=PNphpBB2&file=posting&mode=quote/index.php?name=PNphpBB2&file=viewtopic&p=34004/viewtopic.php?p=15&sid=be4c914eb746ac7c96beea717fdfc692/&highlight=../../../../../../../../../../../../../etc/passwd%00 HTTP Response 301
//index.php?name=PNphpBB2&file=posting&mode=quote/index.php?name=PNphpBB2&file=viewtopic&p=34004/viewtopic.php?p=15&sid=be4c914eb746ac7c96beea717fdfc692/&highlight=../../../../../../../../../../../../../etc/passwd%00 HTTP Response 200
/wiki/index.php/Main:Some_Wiki_Pagename//index.php?name=PNphpBB2&file=posting&mode=quote/index.php?name=PNphpBB2&file=viewtopic&p=34004/viewtopic.php?p=15&sid=be4c914eb746ac7c96beea717fdfc692/&highlight=../../../../../../../../../../../../../etc/passwd%00 HTTP Response 200
/wiki/index.php//index.php?name=PNphpBB2&file=posting&mode=quote/index.php?name=PNphpBB2&file=viewtopic&p=34004/viewtopic.php?p=15&sid=be4c914eb746ac7c96beea717fdfc692/&highlight=../../../../../../../../../../../../../etc/passwd%00 HTTP Response 200
/blog/2009/01/title-of-post-here//index.php?name=PNphpBB2&file=posting&mode=quote/index.php?name=PNphpBB2&file=viewtopic&p=34004/viewtopic.php?p=15&sid=be4c914eb746ac7c96beea717fdfc692/&highlight=../../../../../../../../../../../../../etc/passwd%00 HTTP Response 301
我想要一个每晚的 cron 进程来查找任何请求“恶意”URL 的主机，并将它们添加到与 hosts.deny 等效的 HTTP 中。
我想会有一组定义恶意 URL 的正则表达式，以及可能有一些 apache 插件来轻松地拒绝主机（无需每晚重新启动 httpd）。
这样的事情存在吗？
http://www.modsecurity.org/可以做你想做的事。
fail2ban 扫描 /var/log/apache/error_log 之类的日志文件，并禁止基于正则表达式（称为过滤器）进行这些自动扫描的 IP。默认情况下，它会更新防火墙 (iptables) 以阻止有问题的 IP。编写新操作非常容易，实现更新 .htaccess 的操作应该非常简单，fail2ban 发行版中提供了几个示例。
我会第二次fail2ban。它可以实时工作，可以暂时禁止，并且可以将 IP 地址添加到您的防火墙中，这样 Apache 就不必在上面浪费时间了。
与 iptables 的ipset netfilter 模块（处理大量地址时速度更快）结合使用时效率更高，并且可以立即禁止它们，因此它们只能在被阻止之前发出一两个请求。
如果你真的非常讨厌这些人并且正在运行 Linux，你也可以尝试为 iptables 实现缓送（快速搜索没有找到任何 2.6 兼容的补丁）。这将接受连接，然后立即将窗口大小设置为 0（防止数据被传输），同时也防止远程端完全关闭连接，这意味着任何正在连接的应用程序都必须等待 3 到 20 之间（ !!) 连接超时前的几分钟。
这对于阻止端口扫描器也很有用，因为它使它们花费的时间比通常要长几个数量级。
如果是 Apache 2.0，可以试试 mod_access：http ://httpd.apache.org/docs/2.0/mod/mod_access.html
在 Apache 2.2 中，它是 mod_authz_host：http ://httpd.apache.org/docs/2.2/mod/mod_authz_host.html
不过，看起来您肯定需要向 Apache 发出信号以重新加载其配置，以使模块配置中的更改生效。
编辑：Modsecurity 看起来像您想要的，而不是通过 grepping 您的日志文件并使用上述之一来构建静态拒绝配置。我现在要赞成这个答案。
另一种可能性是使用 mod_rewite 来匹配 URL 并向客户端发送 403（或您想要的任何代码）。例子：
或者为了好玩：
我当然会关注 OSSEC。它检测到这些模式并可以阻止 IP 地址。它还会查找扫描（例如多个 404）并阻止攻击者 IP。
是的，默认情况下它会这样做。
链接：http ://www.ossec.net
一个例子是：
我建议将其放在您从主配置中包含的单独文件中，然后重写这个小片段。您可以重新加载以获取更改，这不会像重新启动那样停止您的服务器。