我发现 McAfee SiteAdvisor 已将我的网站报告为“可能存在安全问题”。
我不太关心 McAfee 对我的网站的看法（我可以自己保护它，如果没有，McAfee 绝对不是我寻求帮助的公司，非常感谢）。然而，困扰我的是，他们显然在未经我许可的情况下抓取了我的网站。
澄清一下：我的网站上几乎没有内容，只有一些占位符和一些供我个人使用的文件。没有服务条款。
我的问题是：McAffee 是否有权从我的网站下载/抓取内容？我可以禁止他们这样做吗？我觉得应该有某种“我的城堡，我的规则”的原则，但是我对所有法律方面的东西基本上一无所知。
更新：我可能应该提到我的服务器提供商会定期向我发送有关 SiteAdvisor 调查结果的电子邮件——这就是我发现他们的“评级”的方式，这就是我生气的原因。
是的，他们有权这样做——您创建了一个公共网站，是什么让您认为他们没有这样做？
当然，您也有权阻止他们。您可以要求他们不要使用robots.txt抓取您的网站，或者使用类似fail2ban的内容主动阻止他们访问它。
或者，不要担心，继续你的生活。它没有伤害任何东西，而且绝对是互联网探测的良性方面。
这有法律先例。Field v. Google Inc., 412 F. Supp. 2d 1106，（美国区 Ct. 内华达州 2006 年）。谷歌基于几个因素赢得了简易判决，最值得注意的是，作者没有在其网站的元标记中使用 robots.txt 文件，这会阻止谷歌抓取和缓存网站所有者不想编入索引的页面。
裁决.pdf
美国没有专门处理 robots.txt 文件的法律；然而，另一个法庭案件开创了一些先例，最终可能导致 robots.txt 文件被视为规避为保护内容而采取的故意电子措施。在 HEALTHCARE ADVOCATES, INC Vs HARDING, EARLEY, FOLLMER & FRAILEY 等案中。al，Healthcare Advocates 认为，Harding 等人实质上入侵了 Wayback Machine 的功能，以便访问具有较新版本的 robots.txt 文件的页面的缓存文件。虽然 Healthcare Advocates 败诉，但地方法院指出，问题不在于 Harding 等人“撬开了锁”，而是因为 Wayback Machine 的服务器负载问题，他们获得了对文件的访问权限，该问题授予访问应该缓存的文件'
法庭裁决.pdf
恕我直言，直到有人接受此裁决并将其转为一边只是时间问题：法院指出 robots.txt是防止爬行和规避的锁，它正在 撬锁。
不幸的是，其中许多诉讼并不像“我试图告诉你的爬虫这是不允许的，而你的爬虫忽略了这些设置/命令”那么简单。在所有这些案件中，最终影响结果的还有许多其他问题，而不是根据美国 DCMA 法律是否应将 robots.txt 文件视为电子保护方法的核心问题。
话虽如此，这是美国的法律，中国人可以为所欲为——不是因为法律问题，而是因为中国不会执行美国的商标和版权保护，所以祝他们好运。
不是一个简短的答案，但您的问题确实没有一个简短的简单答案！
这种行为是否合乎道德还不是很清楚。
抓取公共网站的行为本身并不是不道德的（除非您使用 robots.txt 或其他技术措施明确禁止它，并且他们正在规避它们）。
他们正在做的事情大致相当于给你打电话，同时向世界宣布你可能不安全。如果这损害了您的声誉并且不合理，那就是不道德的；如果它这样做并且唯一的解决方案涉及您向他们付款，那就是敲诈勒索。但是，我不认为这是正在发生的事情。
另一种不道德的情况是，有人爬取您的网站以盗用您的内容或数据，然后将其表示为他们自己的。但是，这也不是正在发生的事情。
所以，我建议他们在这种情况下的行为是合乎道德的，你也很可能忽略它。
如果您与他们没有关系并且没有请求电子邮件，他们向您发送垃圾邮件的相关行为是不道德的，但我怀疑他们有一个有效的退订。
阻止某些人或公司访问您的网站的技术方法：
您可以阻止特定 IP 地址或地址范围访问您网站的页面。这是在 .htaccess 文件中（如果您的站点在 Apache Web 服务器上运行）。
http://www.htaccess-guide.com/deny-visitors-by-ip-address/
让您的 Web 服务器记录访问它的 IP 地址，并查找这些 IP 地址，以查找与 McAfee 关联的地址。如果您没有任何常客，现在可能很容易分辨。
当然，他们将来可能会更改 IP 地址。不过，如果您查找找到的 IP 地址，看看谁拥有它们，您也许能够了解 McAfee 拥有的整个地址块，并将它们全部屏蔽。
这样做的法律依据：
“网站所有者可以合法阻止某些用户，法院规则”
http://www.computerworld.com/s/article/9241730/Website_owners_can_legally_block_some_users_court_rules
（如果您的网站是个人网站，没有人会质疑您屏蔽某些用户的权利。但如果它是企业网站，那么讨论的双方都有法律和道德论据。您的企业越小，越容易它将受到法律保护——无论如何，其他人都不会在意抱怨。）
您可能还对“通过推荐人拒绝访问者”感兴趣。
http://www.htaccess-guide.com/deny-visitors-by-referrer/