主页 / server / 问题 / 100599
Accepted
Parag
Asked: 2010-01-08 12:14:46 +0800 CST

如何防止搜索引擎将特定网址编入索引

  • 772

我有一个不想编入索引的网址：

http://www.mysite.com/moduleA?param=secretkey

所以当我用谷歌搜索“mysite.com”时，我不希望上面的链接出现在搜索结果中。

但是，以下网址是公开查看的一部分：

www.mysite.com/moduleA
www.mysite.com/moduleA?id=12345
www.mysite.com/moduleA/somepage.html

这可以做到吗？robots文件可以用于此吗？

search url indexing robots.txt

1 个回答

  1. Best Answer

    你可以做几件事：

    但最终，任何秘密都不应该直接进入这样的 URL - 并非所有网络爬虫都遵守这些机器人指令，有些（垃圾邮件机器人等）专门搜索它们并查看它们。

    • 2

相关问题