0
我想解析来自雅虎this page可以尝试获取所有问题的网址。为什么jsoup选择器的ID和类在我这里不起作用?
我使用jsoup,但这些选择器不会选择任何内容,为什么?
doc.select("#yan-questions h3 a")
doc.select(".question-title a")
我想解析来自雅虎this page可以尝试获取所有问题的网址。为什么jsoup选择器的ID和类在我这里不起作用?
我使用jsoup,但这些选择器不会选择任何内容,为什么?
doc.select("#yan-questions h3 a")
doc.select(".question-title a")
我现在找到原因。这是因为该网站可能会根据不同的用户代理发送不同的网页,并且当我没有包含HTTP头时,响应不会有一些id
。
当我加入这一行的HTTP请求这个问题就解决了:
User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101