我试图阻止搜索引擎通过网站的 SSL 版本进行爬网,以防止内容重复和规范化问题。
我发现了以下很棒的文章: http ://www.seoworkers.com/seo-articles-tutorials/robots-and-https.html
问题是,我正在使用 lighttpd,它似乎没有 RewriteCond 指令,将重写限制为 SSL。
任何人都可以建议在 lighttpd 上是否可行,并给出一个片段?
提前致谢!
我试图阻止搜索引擎通过网站的 SSL 版本进行爬网,以防止内容重复和规范化问题。
我发现了以下很棒的文章: http ://www.seoworkers.com/seo-articles-tutorials/robots-and-https.html
问题是,我正在使用 lighttpd,它似乎没有 RewriteCond 指令,将重写限制为 SSL。
任何人都可以建议在 lighttpd 上是否可行,并给出一个片段?
提前致谢!
如果您至少有 1.4.19 版本,您应该能够使用条件配置,例如:
尝试这个:
url.rewrite-once
绝对应该在您的$SERVER["socket"]
ssl 部分中,仅在访问您的 ssl 主机时应用。url.rewirte-once 可以无条件放置,但根据某些论坛,它似乎不会一直有效。