Andy Asked: 2020-11-14 16:50:44 +0800 CST 缺少 HTTP 引荐来源网址可以识别网络爬虫吗? 0 我目前正在尝试分析网站的流量。 除了有关请求的资源和时间戳的详细信息外,跟踪系统仅提供请求的 HTTP 引荐来源网址。 在大多数情况下,引荐来源网址为空。鉴于相关网站具有 ssl 证书,我可以假设此流量主要是由于网络爬虫造成的吗? 如果推荐数据不够,我可以收集哪些额外(可访问)数据来识别网络爬虫? 谢谢 traffic web-crawler