请有人向我解释在 robots.txt 文件中设置允许和禁止与创建无关注、无索引元标记之间的区别！是否可以在 robots.txt 文件中设置无关注和无索引？我看过http://www.robotstxt.org/robotstxt.html并没有真正得到我想要的东西！谢谢
AskOverflow.Dev
请有人向我解释在 robots.txt 文件中设置允许和禁止与创建无关注、无索引元标记之间的区别！是否可以在 robots.txt 文件中设置无关注和无索引？我看过http://www.robotstxt.org/robotstxt.html并没有真正得到我想要的东西！谢谢
robots.txt 文件将简单地告诉机器人他可以去哪里，不能去哪里。它无权使机器人跟随指向另一个网站的链接。nofollow、noindex 元标记将阻止兼容的机器人索引或跟踪指定的链接或网页中包含的链接。
禁止机器人
robots.txt从特定页面进入与为该页面设置META标签的效果相同。noindex一个
META标签nofollow阻止搜索引擎跟踪页面上的链接，即使他们被允许索引页面本身。没有robots.txt这个版本。noindexrobots.txt在 a不够灵活的动态站点上的某些情况下可能很有用。例如，如果您有一个生成类似 URL 的系统，则必须使用 来node/123根据文章中的某些数据阻止文章noindex，因为robots.txt只能根据 URL 本身中的内容进行过滤。