我有一个托管在 2 台服务器上的网站。该网站基于 SSL。
我想使用本地 Opsview 监视(加载主页并查找某个字符串)每个服务器的网站。这意味着我需要转到 Opsview 的 HOSTS 文件并添加“domain.com 10.10.10.33”并每次更改它以匹配正确的服务器。我显然无法编写此脚本,因为结果很可能在检查期间出现偏差。
是否有某种适用于 Linux 的爬虫能够获取 IP 地址、域名并将它们一起工作?我尝试了 curl --proxy 和 wget --header 均无济于事。
许多 SSL http 服务器不关心提供了什么 Host: 标头,因此只要您可以说服客户端(例如 wget)忽略证书 CN 不匹配,只需请求 https://$ipaddress/foo 即可。
否则尝试类似:
您不需要主机名,您可以单独使用 IP 连接并使用
curl
.-k
将使 cURL 忽略证书错误,将-H
放置主机,并 curl 下载结果。您可以通过管道传输它awk
,grep
或者您拥有的任何其他工具。您是否尝试过使用 curl 连接到 IP 地址并覆盖主机?-
我最终在没有取消认证警告等的情况下找到了解决方案。
这需要最新的 CURL,即 7.37.1
正确的语法是: