主页 / server / 问题 / 593433
Accepted
MB34
Asked: 2014-05-07 07:42:15 +0800 CST

为什么我的 robots.txt 不起作用？

  • 772

我有这个 robots.txt：

User-Agent: *
Disallow: /files/

User-Agent: ia_archiver
Allow: /

User-agent: Googlebot 
Disallow: 

User-agent: googlebot-image 
Disallow: 

User-agent: googlebot-mobile 
Disallow:

我发现 /files/ 目录中的 PDF 文件正在被 Google 索引。

我应该将第一个条目移到底部吗？

在使用 Google 的网站管理员工具时。我将 /files/ disallow 移到了底部，并对 files 目录中的一个 PDF 文件进行了测试，它返回了 Success。

我该如何解决这个问题？我们不希望此目录中的任何内容被索引。

已编辑

即使我删除了除第一个子句之外的所有内容，

User-Agent: *
Disallow: /files/

Google 仍然可以在 /files/ 目录中看到 PDF，我在这里做错了什么？

在 Bing 的网站管理员工具中，它显示为被阻止，但 Google 仍然显示成功。

robots.txt

1 个回答

  1. Best Answer

    编辑：重新阅读标准。机器人将使用第一个匹配的名称令牌，或回退到*. 对于您要拒绝访问的每个机器人/files/，您需要添加一个匹配的disallow:

    User-agent: *
Disallow: /files/

User-agent: Googlebot 
Disallow: /files/

    http://www.robotstxt.org/是一个很好的资源，如果你还没有看到的话。

    • 0

相关问题