我试图阻止网络爬虫索引网站上的 pdf 文件。我知道如何使用 .htaccess 文件而不是 web.config 文件来执行此操作。此代码段将阻止爬虫索引整个站点正确吗?为了阻止 pdf 被抓取,我需要什么?可能吗?
<httpProtocol>
<customHeaders>
<add name="X-Robots-Tag" value="noindex" />
</customHeaders>
</httpProtocol>
我试图阻止网络爬虫索引网站上的 pdf 文件。我知道如何使用 .htaccess 文件而不是 web.config 文件来执行此操作。此代码段将阻止爬虫索引整个站点正确吗?为了阻止 pdf 被抓取,我需要什么?可能吗?
<httpProtocol>
<customHeaders>
<add name="X-Robots-Tag" value="noindex" />
</customHeaders>
</httpProtocol>
使用 IIS URL 重写模块可以设置响应标头。