用JSOUP刮网

Question

我是新来的刮。我正在尝试使用JSOUP从网站上抓取数据。我想从<div>，<span>，<p>等标签中抓取数据。有人可以告诉我如何做到这一点？

Answer 1

检查this。一个基本的例子：

import org.jsoup.Jsoup; 
import org.jsoup.nodes.Document; 
import org.jsoup.nodes.Element; 
import org.jsoup.select.Elements; 

public class Test { 

    public static void main(String[] args) throws Exception { 
     String url = "https://stackoverflow.com/questions/2835505"; 
     Document document = Jsoup.connect(url).get(); 

     String text = document.select("div").first().text(); 
     System.out.println(text); 

     Elements links = document.select("a"); 
     for (Element link : links) { 
      System.out.println(link.attr("href")); 
     } 
    } 

} 

这将首先打印页上的第一div的文本，然后打印出网页上的所有链接（a）的所有URL。

---

为了获得股利的具体类，请Elements elements = document.select("div.someclass")

要与特定的id来获取申报单，做Elements elements = document.select("div#someclass")

如果你想通过所有选定的元素，这样做：

for (Element e:elements) { 
    System.out.println(e.text()); 
    //you can also do other things. 
}