如何从网站上抓取数据

Question

我正在构建一个图像数据库，并希望自动化该过程。我对HTML有些熟悉，而我的核心程序是用C＃构建的。什么是一个好的图书馆可以帮助我下载一个页面作为HTML，并获取页面上的URL链接到所需的图像？我很熟悉如何从URL下载图像，因此不需要解决。

（库或其他语言，数据库建设和程序不需要进行组合。）

Answer 1

你想建立一个履带或网站蜘蛛将抢东西的网站。有一个解析库叫HtmlAgilityPack这将帮助你做到这一点很容易。 This post will tell you how to use this library.

希望它有帮助！