我正在设置一个谷歌迷你设备来索引我们的网站,它有很多动态生成的内容。我创建了一个动态的 site.map 文件,其中列出了所有的动态 URL。这目前正在被谷歌索引,但似乎被谷歌迷你设备忽略了。
我已将 site.map 文件添加到“从以下 URL 开始抓取”中。当我查看爬网诊断时,会出现 site.map 文件,但 site.map 中包含的动态 URL 都没有被编入索引。Google mini 设备仅索引 100 个 URL,而 site.map 包含 10,000 个。
如果我使用测试中心搜索短语,则搜索结果包括 site.map 而不是它指向的 URL。
有任何想法吗?