Google抓取XML文件

我需要xml文件来索引我的网站以进行谷歌抓取。我正在使用一些软件来制作XML文件。我的问题是我需要列出所有动态页面。我的意思是这样的：Google抓取XML文件

如果是，这是为什么？什么是要happend如果我不会有他们，只是说：

如果我包括所有的ID，结果将是一个巨大的XML文件。谷歌接受这样一个大文件，或者他们有限制吗？

在此先感谢您的帮助和时间。

2011-01-24 Jay

谷歌是不会指数所有动态网页反正。即使将它们放在sitemap.xml中，它也会将其中的大部分扔出去。内容将太相似。

sitemap.xml中的条目数量有限制它曾经是〜50k pages/10MB。根据我的经验，如果Google看起来过于相似且没有入站链接，Google会抓取几千个并停止。

2011-01-24 22:56:59

根本不需要XML站点地图。它只是让谷歌更容易抓取您的内容。而且显然你不必把动态的东西放在里面。

2011-01-24 22:45:42 ThiefMaster

你的意思是如果我为我的网站制作XML站点地图，我会让Google抓取更难？ – Jay 2011-01-24 22:47:12

如果这是一个真正的问题，请尝试阅读rel="canonical"，这是为了从Google中排除这些类型的网页。虽然它的有用性基于用例，但您可能会发现它是适合您的解决方案。

2011-01-24 22:50:54 fiiv

回答