主页 / server / 问题 / 766111
Accepted
w3bariak
Asked: 2016-03-26 07:27:00 +0800 CST

Robots.txt - 禁止抓取子域上的一个目录

  • 772

我已将我的产品展示放在子域上，例如http://demo.domain.com/productname/. 产品的演示版位于http://demo.domain.com/productname/demo/。我想禁止抓取演示版，有人可以帮助我吗？

robots.txt

1 个回答

  1. Best Answer

    robots.txt 必须在根目录中；如果您已将演示版产品放在子域的文件夹中，那么您需要更改子域 robots.txt 文件，该文件应该是 aka；http://demo.domain.com/robots.txt

    机器人.txt：

    user-agent: *
disallow: /productname/demo
allow: /
    • 4

相关问题