如何使用单个爬网程序对多个域进行爬网？

Question

如何使用单个爬网程序从多个域中抓取数据。我已经使用美丽的汤对单个网站进行了爬网，但无法弄清楚如何创建一个通用的网站。

Answer 1

那么这个问题是有缺陷的，你想刮的网站必须有一些共同点。

from bs4 import BeautifulSoup 
from urllib import request 
import urllib.request 

for counter in range(0,10):   
    # site = input("Type the name of your website") Python 3+ 
    site = raw_input("Type the name of your website") 
    # Takes the website you typed and stores it in > site < variable 
    make_request_to_site = request.urlopen(site).read() 
    # Makes a request to the site that we stored in a var 
    soup = BeautifulSoup(make_request_to_site, "html.parser") 
    # We pass it through BeautifulSoup parser in this case html.parser 
    # Next we make a loop to find all links in the site that we stored 
    for link in soup.findAll('a'): 
     print link['href'] 

Answer 2

如前所述，每个站点有选择（，，等）自己独特的设置。一个单一的通用爬行程序将无法进入一个网址，并直观地理解要抓取的内容。

BeautifulSoup可能不是这种类型的请求的最佳选择。 Scrapy是另一个网络爬虫库，它比BS4更强壮一些。

这里计算器

类似的问题：Scrapy approach to scraping multiple URLs

Scrapy文档： https://doc.scrapy.org/en/latest/intro/tutorial.html