使用python访问和webscrape动态页面

Question

我想使用它的表单参数访问一个网页。 我在chrome的开发人员选项卡中使用网络标题找到了表单参数。 但它不工作，相反，它只是打开的页面使用这些参数之前（即www.irishancestors.ie/search/townlands/ded_index.php）

import webbrowser 

webbrowser.open('http://www.irishancestors.ie/search/townlands/ded_index.php?action=listp&parish=Aghagallon') 

我的目的是检索每个区选举司的所有县的所有表。

Answer 1

网页浏览器没有做什么，你认为它。

如果你想GET/POST数据到一个网页，你应该使用requests

>>> import requests 
>>> r = requests.get('https://api.github.com/events') 
>>> r = requests.post('http://httpbin.org/post', data = {'key':'value'}) 

webbrowser是启动Web浏览器。

请注意，如果有一堆javascript正在使用（这可能会，但它需要您的部分更多的工作），这不会工作得很好。如果你有很多Javascript，它可能会更容易使用selenium