主页 / server / 问题 / 103856
In Process
Joannes Vermorel
Asked: 2010-01-19 09:12:16 +0800 CST

在使用 robots.txt 禁用抓取工具的同时让 Google Apps 网站可公开访问？

  • 772

我想创建一个可公开访问的 Google Apps 站点（即用户无需经过身份验证即可访问内容），同时使用 Robots.txt 维护策略爬虫和机器人排除。有谁知道这是怎么做到的吗？

access-control-list g-suite robots.txt

1 个回答

  1. robots.txt 不会阻止交互式浏览器使用该网站。它仅由爬虫、提要阅读器、递归下载工具等机器人使用（尽管后者会让用户覆盖它）。

    • 1

相关问题