爬虫/搜索引擎如何遍历网络？

Question

商业搜索引擎的爬虫如何遍历网页： “识别种子页面并通过连接的链接查找其他页面” 或 “索引网站wwwroot目录下的每个文件”。

在后来的选项搜索引擎的情况下，甚至应该索引的东西，不被任何其他页面引用？

Answer 1

参考必须存在。它可以是

• 普通的HTML HREF允许指数
• 链接sitemaps.xml robots.txt中
• 链路允许的履带由网站站长在自己的搜索引擎后台提供
• 参考
• 等

它可以是任何其他的链接。