我想使用Jsoup
来抓取仅在我登录时可用的页面。我想这意味着我需要登录一个页面并将Cookie发送到另一页面。
我看了一些以前的职位here和写下面的代码:使用Jsoup登录并抓取数据
public static void main(String[] args) throws IOException {
Connection.Response res = Jsoup.connect("login.yahoo.com")
.data("login", "myusername", "passwd", "mypassword")
.method(Method.POST)
.execute();
Document doc=res.parse();
String sessionId = res.cookie("SESSIONID");
Document doc2 = Jsoup.connect("http://health.groups.yahoo.com/group/asthma/messages")
.cookie("SESSIONID", sessionId)
.get();
Elements Eles=doc2.getElementsByClass("message");
String content=Eles.first().text();
System.out.println(content);
我的问题是我怎么能在这里认识我的cookie的名称(即“SESSIONID”)发送我的登录信息?我用.cookies()
方法来获取所有从登录页面饼干:
乙
DK
YM
牛逼
PH
Ÿ
˚F
我想他们一个一个但没有工作。我可以从其中的一些获得sessionId,但是我无法从第二页成功获取节点,这意味着我没有成功登录。任何人都可以给我一些建议吗?非常感谢!
雅虎有很多cookie,通过https执行登录和其他安全隐患。 – vikiiii 2012-04-15 04:05:18