蟒蛇爬虫代码搜索网络上的任何文件

Question

是否有一个python爬虫/网络蜘蛛代码来搜索基于单个或多个搜索关键字的网络上的任何文件？代码需要在返回链接或将文件下载到文件夹之前搜索文件中最大关键字的匹配。

Answer 1

你应该尝试python scrapy。 https://scrapy.org/文档非常好，你可以用这些例子做很多事情。