当我做SEO时，了解机器人如何工作有帮助吗？

Question

我想学习SEO！它有助于了解机器人在做SEO时的工作方式？ 那么有人可以回答吗？也许这是一个愚蠢的问题。 谢谢！

Answer 1

假设机器人是指网络蜘蛛AKA抓取工具，它的工作原理的细节对于搜索引擎优化并不会特别有用 - 它会遵循链接，本质上说，与您的相关并不多目的！

当然，你需要了解的事实标准：写的robots.txt文件从某些网页排除爬虫，编写好的sitemaps，如何increase your crawl rate，使用webmaster tools，landing page optimization，等等 - 所有技能很不同了解蜘蛛的内部运作。

Answer 2

是和否。你需要了解一些事情的事情：

• robots.txt
• <a rel="nofollow" ...>
• stemming
• sitemaps
• 可能Pagerank。

请注意，我假设你的意思是一个标准的网络爬虫，而不是youtube或类似的东西。而Pagerank则假设你专注于Google，这通常是一个好主意。 ;）

但是，你不应该关心代码;有太多的噪音。背后的推理算法与搜索引擎优化无关。抓取工具如何处理超时并不是非常有用。您可以忽略大量获取网页的细节 - 大规模并行数据处理可能是一个棘手的话题，您不需要知道所有这些。

查看面向SEO的博客，工具和网站。或者你可以只搜索SEO;如果最好的答案不正确，那么他们做错了什么。 ;）

Answer 3

我建议你看看SEOmoz的search engine ranking factors page。这是一个有关50多个因素的有组织的调查seo专业人士的意见。这是非常丰富的信息，可以帮助您快速找到相关的相关信息。