我正在设置一个谷歌迷你设备来索引我们的网站,它有很多动态生成的内容。我创建了一个动态的 site.map 文件,其中列出了所有的动态 URL。这目前正在被谷歌索引,但似乎被谷歌迷你设备忽略了。
我已将 site.map 文件添加到“从以下 URL 开始抓取”中。当我查看爬网诊断时,会出现 site.map 文件,但 site.map 中包含的动态 URL 都没有被编入索引。Google mini 设备仅索引 100 个 URL,而 site.map 包含 10,000 个。
如果我使用测试中心搜索短语,则搜索结果包括 site.map 而不是它指向的 URL。
有任何想法吗?
我们刚刚请来了一位顾问,他说 Google Mini 无法索引 sitemap.xml 文件中包含的 URL。另一种解决方案是创建一个包含所有链接的 HTML 页面。
我想到了几件事:
确保您的站点地图文件的内容类型允许被索引。例如,默认情况下允许使用 html。
确保您的站点地图采用XML 站点地图格式。
如果您定义了多个集合,请确保您的站点地图文件可由您期望的集合访问。