主页 / server / 问题 / 105726
In Process
RobHardgood
Asked: 2010-01-24 15:12:42 +0800 CST

我如何知道 Google 抓取我的网站的频率？

  • 772

我创建了一个相对较新的网站，并将其提交给谷歌和其他所有网站。我也使用谷歌的网站管理员工具。我想知道如何计算谷歌蜘蛛访问我网站的频率。我总是听到人们在论坛上谈论“我一小时爬了 250 页”等等……有软件可以使用吗？类似于谷歌分析的javascript方法？或者有什么东西可以分析我的服务器日志？谢谢

website google web-crawler

8 个回答

  1. User-Agent如果访问者的请求标头匹配/包含，只需检查网络服务器日志Googlebot。有很多网络服务器日志分析工具，免费或付费软件。他们中的大多数还能够对机器人进行分类。从他们那里，我在Google Analytics方面获得了最好的体验。

    • 4

  2. 注册 Google 网站管理员中心（又名网站管理员工具），验证您的网站，然后等待统计信息出现。

    • 2

  3. Google Bot 不太可能在您的网站上运行任何 Javascript 来跟踪它的到达，因此最好的办法是查看网站日志本身 - 在 webalizer 或数百个其他日志文件解析器中，或者只是在一个texteditor 并运行正则表达式来提取 Google Bot 用户代理。

    然后，您应该看到它在一段时间内产生了多少点击。如果它太多了，你可能想看看使用XML 站点地图

    • 1

  4. AWstats是一个很好的免费实用程序，可用于日志文件分析。除了 Google 抓取信息之外，它还会为您提供许多有趣的统计数据。

    • 1

  5. 我会推荐谷歌分析，它涵盖了对您网站的所有访问，您可以确定访问者是否是机器人。它也非常适合您网站上的 SEO，有助于增加访问者。

    • 0

  6. AWstats 是一个很好的免费实用程序，可用于日志文件分析。除了 Google 抓取信息之外，它还会为您提供许多有趣的统计数据。

    Awstats确实是一个很棒的工具

    • 0
    • 0

  8. 您可以使用谷歌网站管理员工具，它会告诉您该机器人多久抓取一次您的网站...

    • 0

相关问题