使用pycurl获取下一页谷歌结果

Question

我已经编写代码来搜索谷歌使用pycurl的东西。我希望能够使用pycurl来做到这一点，但不胜感激。我正在寻找能够搜索一个术语，然后“点击下一页按钮”或“点击底部的索引编号”使用pycurl，所以我可以获得更多，然后只是前10个网页结果。

在此先感谢。

Answer 1

有多种方法可以做到这一点。

如果您的基本网址http://www.google.co.uk/search?hl=en&q=YOUR_QUERY_STRING

您可以添加& NUM = 100到您的网址年底获得前100个结果。

，或者您可以添加&开始= N，其中N是10的倍数，并重新发送的WebRequest获得下一个页面

，或者你只是使用XPATH解析网页并获取的网址下一页上的搜索结果。