从没有urllib或json的站点获取信息

Question

我想以某种复制/粘贴格式从页面获取所有信息，但由于安全限制，我无法使用站点中的urllib或json信息。我想知道是否有方法让python打开网页并复制实际页面本身，而不是从API中检索html代码或JSON？

Answer 1

您可以通过selenium加载一个真正的浏览器的网页并获取.page_source：

from selenium import webdriver 

driver = webdriver.Firefox() 
driver.get("url") 

print(driver.page_source) 

Answer 2

取决于...你只想使用标准的Python？如果是，则：

• ，如果你使用的是Windows，你可以下载页面在Linux或Mac bitsadmin

• ，那么你可以使用curl

  ​​

连同subprocess.check_output()

另有一个包如selenium作为另一个答案提到。