我注意到我的网站不再被 web.archive.org 归档。当我查看http://web.archive.org/web/ */ http://www.cnn.com时，可以清楚地看到它在 2008 年 7 月停止工作。web.archive.org 有 6 个月-延迟政策。这意味着在爬网运行 6 个月后，最终用户应该可以看到它。因此，它应该从 2009 年底开始进行爬行，而不仅仅是从 2008 年中期开始。
我该怎么做才能让它再次为我工作，是否有官方声明？
AskOverflow.Dev
我注意到我的网站不再被 web.archive.org 归档。当我查看http://web.archive.org/web/ */ http://www.cnn.com时，可以清楚地看到它在 2008 年 7 月停止工作。web.archive.org 有 6 个月-延迟政策。这意味着在爬网运行 6 个月后，最终用户应该可以看到它。因此，它应该从 2009 年底开始进行爬行，而不仅仅是从 2008 年中期开始。
我该怎么做才能让它再次为我工作，是否有官方声明？
上次更新他们的常见问题解答时，可见性延迟为“ 6-14 个月”，因此延迟可能已经延长，您看到的是正常行为。
检查您的网站是否没有告诉爬虫不要将其编入索引的 robots.txt 文件。
该常见问题解答还列出了其他两种让您的网站被索引的方法：在您的浏览器中安装 Alexa 工具栏并访问您的网站；或访问http://www.dmoz.org/并使用“建议 URL”表格。