网络爬虫的工作是什么？

Question

Web爬虫会抓取Web并创建Web数据库吗？它只会创建一个可搜索的Web索引？如果假设它创建了一个索引，谁将准确地收集网页的数据并将其存储在数据库中？

Answer 1

虽然这个问题有点含糊让我放一些词来澄清。

1. Crawler发出一个URL的http请求并分析该网页的信息。举例来说，它使得一个http req。 http://www.example.com它检索页面的内容。

2. 一旦它获得了分析它的页面内容。现在H1，H2，Pages的重要性基于这些标签，它可以了解网页的全部内容。

3. 标识称为关键字和总结网页内容的重要/突出的话，并把它在它的索引

4. 而且它得到的超链接，从将在其下一个跳跃用于这些网站，网页的其他网站并进一步进行。这是一个永无止境的故事。

5. 所以无论何时一个关键字被问到，它都会从关键字数据库中看到并显示在结果中。

6. 有时，爬网程序本身会将网页副本转储到名为缓存数据库的特殊数据库中，以便它可以用作原始数据的备用副本。