搜索引擎优化：允许爬虫索引所有网页，当一次只有几个可见

Question

我正在改善网站的搜索引擎优化的目的，并打出一个有趣的问题。该网站，其中包括一个大型的个人项目目录（这些都不重要）。每个项目都有自己的详细信息页面，这是通过

http://www.mysite.com/item.php?id=item_id 

或

http://www.mysite.com/item.php/id/title 

的目录是大访问 - 其中具有约100,000项。当然，在任何页面上只列出几个项目。例如，在主网站主页上，有链接到大约5或6个项目，从其他页面链接到大约12个不同的项目等。

当真实用户访问该网站时，他们可以使用搜索表单通过关键字或位置查找项目 - 因此会生成一个与其搜索条件匹配的列表。但是，例如，当谷歌搜索器访问该网站时，甚至不会尝试将文本放入关键字搜索字段并提交表单。因此，就bot而言，在对整个站点进行索引之后，它至多只覆盖了几十个项目。当然，我希望它能够分别索引每个单独的项目。我在这里有什么选择？

我考虑的一件事是检查用户代理和IP范围，如果请求者是一个bot（最好我可以说），然后在最相关的页面的末尾添加一个div，并链接到每个单独的项目。是的，这将是一个巨大的页面加载 - 我不确定谷歌机器人会如何反应。

我能做的其他事情吗？这里有什么最佳实践？

在此先感谢。

Answer 1

我考虑的一件事是检查用户代理和IP范围，如果 请求者是一个bot（最好我可以说），然后在最相关的页面的末尾 中添加一个div，并链接到每个单独的项目。是的， 这将是一个巨大的页面加载 - 我不知道如何谷歌机器人 会对此作出反应。

这将是一个非常坏事要做。向搜索引擎提供不同的内容专门为他们的好处被称为cloaking，并且是让您的网站被禁止的好方法。甚至不要考虑它。

每当网站管理员关心如何让他们的网页索引为XML网站地图是确保搜索引擎知道您网站内容的简单方法。如果你的网站是数据库驱动的，它们也很容易创建和更新。 XML文件不必是静态的，所以只要搜索引擎请求它（Google，Yahoo和Bing都支持XML站点地图），就可以动态生成它。您可以在sitemaps.org找到关于XML站点地图的mroe。

如果你想让你的内容可用于搜索引擎，并希望从语义标记（即HTML）中受益，你还应该确保你的所有内容都可以通过超链接（换句话说不是通过表单提交或JavaScript ）。这样做的原因是双重的：

1. 在链接到你的项目的锚文本将包含要为好的排名的关键字。这是权重更高的排名因素之一。
2. 链接算作“投票”，特别是对Google。来自外部网站的链接，尤其是相关网站的链接，是您听到人们推荐的最有用的原因。他们很有价值。但内部链接也会带来重量，并且可以成为支撑内部项目页面的绝佳方式。
3. （Bonus）Google的PageRank曾经是他们排名算法的重要组成部分，但现在只扮演一小部分角色。但它仍然具有价值，并且链接将PageRank“传递”到他们链接的每个页面以增加该页面的PageRank。当你有多少页面时，就会有很多潜在的PageRank可以传递。如果你的网站建立得很好，你可以通过内部链接将你的主页设置为6的PageRank。

让HTML网站地图以某种方式链接到您的所有产品是确保搜索引擎和用户可以轻松找到您所有产品的绝佳方式。还建议您构建您的网站，以便更重要的网页更贴近您网站的根（主页），然后在分支机构获取到子页面（分类），然后转到特定项目。这让搜索引擎了解哪些页面很重要，并帮助他们组织它们（帮助它们对它们进行排名）。它还可以帮助他们从上到下遵循这些链接并查找所有内容。

每个项目都有自己的详细信息页面，这是通过

http://www.mysite.com/item.php?id=item_id

或

http://www.mysite.com/item.php/id/title

这也是坏的搜索引擎优化访问。当您可以使用两个不同的网址拉同一网页时，您的网站上会有重复的内容。谷歌正在努力提高其索引的质量，并认为重复的内容质量不高。他们臭名昭着的熊猫算法部分地用于查找和处罚质量较差的网站。考虑到你有多少产品，在你受到惩罚之前只是一个时间问题。幸运的是，解决方案很简单。你只需要specify a canonical URL为您的产品页面。我推荐第二种格式，因为它对搜索引擎更友好。

阅读my answer to an SEO question at the Pro Webmaster's site了解关于SEO的更多信息。

Answer 2

我会建议初学者有一个XML网站地图。生成所有网页的列表，并通过网站站长工具将其提交给Google。这并不会伤害到有一个“友好”的网站地图 - 链接到首页，其中列出所有这些网页，最好是按类别。

如果您关注SEO，那么链接到您的网页非常重要。谷歌可以看到你的网页，并认为“哇，真棒！”并赋予你许多权威 - 这个权威（有人称之为链接果汁）然后传递给与之链接的页面，你应该创建一个文件层次结构，更重要的文件层次更接近顶层和/或。使得它代替广深

此外，流露出来的谷歌爬虫比“正常”的游客不同的东西可以在某些情况下是有害的，如果谷歌认为你想欺骗它

对不起 - - 这里有一点偏向谷歌 - 但其他引擎类似。