如何获得全文，即使点击链接以使用硒扩展文本？

Question

我试图从tripadvisor网站刮评论。文字较长的评论部分显示为“更多”链接。我已经使用硒打'更多'的链接，它的工作，但我在我的最终输出文件中再次获得一半的评论。

我发现完整的评论存储在不同的课程中，但我如何访问不同的课程？

请参阅下面我的代码的一部分：

driver.get(full_url) 
driver.find_element_by_css_selector("span.moreLink").click() 
r = requests.get(full_url) 
soup = BeautifulSoup(r.content, "lxml") 
#soup = BeautifulSoup(source, 'html.parser') 
page_count = int(soup.select('.pagination a')[-1].text.strip()) 
page_results = soup.find_all("p", {"class" : "partial_entry"}) 

Answer 1

当你做requests.get(full_url).content你所得到的页面的原始标记。这与driver所在的状态无关。（请注意，get呼叫如何通过driver既不通过也不运行driver）。这是一个非常真实的意义，就像在Firefox中打开一个网站，然后运行curl来获取内容 - 两者不知道对方。

您需要做的是询问driver标记当前是什么样的，例如使用driver.find_element_by_css_selector("span").text。