无法使用硒

Question

我用硒刮去angel.co数据，但仍然没有得到的数据从网站

from scrapy import Request,Spider 

import urllib 
from selenium import webdriver 

class AngelSpider(Spider): 
    name = "angel" 
    allowed_domains = ["angel.co"] 
    AJAXCRAWL_ENABLED = True 
    start_urls = (
     "https://angel.co/companies?locations[]=India", 
    ) 

    def __init__(self): 
     self.path ='/usr/lib/chromium-browser/chromedriver' 
     self.driver = webdriver.Chrome(self.path) 

    def parse(self,response): 
     self.driver.get(response.url) 
     self.driver.implicitly_wait(50) 
     while True: 
      next = self.driver.find_element_by_css_selector("div.more") 
      try: 
       next.click() 
       self.driver.implicitly_wait(10) 
       divs = self.driver.find_element_by_xpath("//div[@class= 'results']") 
       for div in divs: 
        name =divs.find_element_by_css_selector("div.name") 
        print name.text 
      except: 
       break 

Answer 1

你什么也看不到印刷的原因是，您使用的是裸除了抽取数据条款和基本上默默地忽略所有提出的异常。

的问题是在你发现页面上的元素的方式，在这条线，你是因为你正在使用find_element_by_xpath()方法定位一个div元素：

divs = self.driver.find_element_by_xpath("//div[@class= 'results']") 

divs是WebElement实例现在这没有可迭代，遍历它会失败的下一行：

for div in divs: 

相反，你在忙什么是这样的：

results = self.driver.find_elements_by_css_selector(".results > div") 
for result in results: 
    name = result.find_element_by_css_selector(".name") 
    print(name.text)