问题[sitemap](server)

硕士，

我们将网站翻译成英文，我对 sitemap.xml 有点困惑。到目前为止，我们有这样的站点地图：

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
  xmlns:xhtml="http://www.w3.org/1999/xhtml">
<url>
    <loc>http://mysite.hu</loc>
    <lastmod>2012-12-12</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.7</priority>
</url>
<url>
    <loc>http://mysite.hu/cegbemutato.php</loc>
    <lastmod>2012-12-12</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.6</priority>
</url>
<url>
    <loc>http://mysite.hu/termekeink.php</loc>
    <lastmod>2012-12-12</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.6</priority>
</url>
</urlset>

“EN”文件夹下的翻译文件。http://mysite.hu/zh/

我在谷歌上找到了两种方法，但我不知道应该使用哪一种，以及如何使用。

1. http://support.google.com/webmasters/bin/answer.py?hl=zh-CN&answer=2620865

2. 其次是站点地图索引文件

这应该是什么样子？所以必须把我所有的网址都拿两次？

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
  xmlns:xhtml="http://www.w3.org/1999/xhtml">
  <url>
    <loc>http://mysite.hu/</loc>
    <xhtml:link 
                 rel="alternate"
                 hreflang="en"
                 href="http://mysite.hu/en/"
                 />
    <xhtml:link 
                 rel="alternate"
                 hreflang="hu"
                 href="http://mysite.hu/"
                 />


  <url>
    <loc>http://mysite.hu/en/</loc>
    <xhtml:link 
                 rel="alternate"
                 hreflang="hu"
                 href="http://mysite.hu/"
                 />

     <xhtml:link 
                 rel="alternate"
                 hreflang="en"
                 href="http://mysite.hu/en/"
                 />
  </url>


    <url>
    <loc>http://mysite.hu/cegbemutato.php</loc>
    <xhtml:link 
                 rel="alternate"
                 hreflang="en"
                 href="http://mysite.hu/en/about-us.php"
                 />
    <xhtml:link 
                 rel="alternate"
                 hreflang="hu"
                 href="http://mysite.hu/cegbemutato.php"
                 />


  <url>
    <loc>http://mysite.hu/en/about-us.php</loc>
    <xhtml:link 
                 rel="alternate"
                 hreflang="hu"
                 href="http://mysite.hu/cegbemutato.php"
                 />

     <xhtml:link 
                 rel="alternate"
                 hreflang="en"
                 href="http://mysite.hu/en/about-us.php"
                 />
  </url>
</urlset>

或者使用 sitemap_index.xml 方法简单地制作一个替代 EN 内容的站点地图？谢谢你的任何建议。

我有一个“内容”网站，一些 leechers 和 419 诈骗者喜欢积极地抓取它，这也会产生成本和性能问题。:(我别无选择：我需要阻止他们访问站点地图文件和索引。:(

我的做法与 Facebook 相同：我即时生成站点地图索引 (/sitemap.php)。我使用 DNS 反向查找 (PHP) 和代理检查（与 Stackoverflow 相同）将“好”爬虫列入白名单。为了防止列入白名单的引擎公开站点地图索引内容，我添加了该标题（Stackoverflow 忘记了）：

header('Content-type: application/xml; charset="UTF-8"', true);
header('Pragma: no-cache');
header('X-Robots-Tag: NOARCHIVE');

问题 1：我是否缺少保护站点地图索引文件的内容？

问题2：问题来自生成的静态站点地图（.xml.gz）文件。我该如何保护他们？即使它们有一个“难以猜测”的名称，也可以通过简单的谷歌查询（例如：“ site:stackoverflow.com filetype:xml ”）轻松找到它们，而且我对 .htaccess 的访问权限非常有限。

编辑：这不是服务器配置问题。首选语言是 PHP。

编辑 2：对不起，这是纯程序问题，但它已从 SO 转移，我无法关闭/删除它。:(

我有一个涵盖多个不同兴趣领域的网站 - 从逻辑上讲，您可以将其视为 MAIN 网站下许多“迷你”网站的集合。由于区域不一定相关，我不想使用一个“大”站点地图，因为网站不同部分的页面会“影响”彼此的排名（因为“ABC”部分中的页面将包含讨论“ABC”的内容'，而“XYZ”部分的页面将主要包含讨论“XYZ”的内容。

我想知道是否可以创建多个站点地图（每个站点地图都覆盖我的主网站下的一个单独的兴趣区域），并将这些站点地图提交给谷歌，也许还有我的主网站的“主”站点地图。

如果是的话，有人可以在这里举一个小例子，或者指出我可以自己阅读的地方，关于如何将站点地图拆分或划分为较小的站点地图文件，每个文件都覆盖网站中的单独“区域” . 顺便说一句，我查看了谷歌文档，而 AFAIK，它没有（至少明确地）有这些信息。

我正在设置一个谷歌迷你设备来索引我们的网站，它有很多动态生成的内容。我创建了一个动态的 site.map 文件，其中列出了所有的动态 URL。这目前正在被谷歌索引，但似乎被谷歌迷你设备忽略了。

我已将 site.map 文件添加到“从以下 URL 开始抓取”中。当我查看爬网诊断时，会出现 site.map 文件，但 site.map 中包含的动态 URL 都没有被编入索引。Google mini 设备仅索引 100 个 URL，而 site.map 包含 10,000 个。

如果我使用测试中心搜索短语，则搜索结果包括 site.map 而不是它指向的 URL。

有任何想法吗？

我在使用我的域的 Google 网站管理员工具和站点地图时遇到问题。

设置站点地图时，我从网站管理员工具中得到的仍然是 -->站点地图是 HTML ...我想我找到了原因：

我在谷歌网站管理员工具上将我的网站注册为http://mydomain.com，但该应用程序托管在 apppot 的http://myapp.appspot.com上，该地址映射到 mydomain.com。

如果我注册http://myapp.appspot.com 一切正常（站点地图验证） - 所以看起来问题与http://myapp.appspot.com映射到http://mydomain的事实有关。 com。

这并不理想，因为我需要 mydomain.com 的站点地图......关于如何克服的任何想法？

我很困惑地在 Google 网站中找到两个不同的站点地图：

http://sites.google.com/site/(name of the site)/system/feeds/sitemap
http://sites.google.com/site/(name of the site)/system/app/pages/sitemap/hierarchy

现在，我准备问一个令人困惑的问题“站点地图是什么？” 我一直认为它们是允许爬虫查看网站上的内容的东西，正如前面的例子所证实的那样。后一个例子挑战了我的知识。它们实际上是什么？前者只适用于人类而后者适用于爬虫吗？还有更多不同类型的站点地图吗？

这个话题让我感兴趣是因为维基百科的规模。在小型站点中创建一些定期更新站点地图可能很容易，但是大型站点呢？所以：

维基百科如何生成它的站点地图？

我想通过我的 Uni.s 帐户生成一个站点地图，这样我就有一个可以连续运行sitemap_gen.py -file的 cron 。该站点地图适用于我在 Google 协作平台上的网站，尤其适用于该网站的用户，而不仅仅是搜索引擎。

您如何通过 Google 站点中的 Google 的 Python 脚本生成站点地图，而该站点地图不提供对后端的访问权限？