抓取受密码保护的页面的所有链接

我正在抓取需要用户名和密码进行身份验证的页面。当我在代码中传递我的用户名和密码时，我成功地从该页面的服务器获得了200 OK响应。但一旦它返回200 OK响应，它就会停止。 验证后，它不会前进到该页面以抓取该页面中的所有链接。And this crawler is taken from http://code.google.com/p/crawler4j/。这是我做的东西验证码...抓取受密码保护的页面的所有链接

public class MyCrawler extends WebCrawler { 

    Pattern filters = Pattern.compile(".*(\\.(css|js|bmp|gif|jpe?g" 
      + "|png|tiff?|mid|mp2|mp3|mp4" + "|wav|avi|mov|mpeg|ram|m4v|pdf" 
      + "|rm|smil|wmv|swf|wma|zip|rar|gz))$"); 

    List<String> exclusions; 


    public MyCrawler() { 

     exclusions = new ArrayList<String>(); 
     //Add here all your exclusions 

    exclusions.add("http://www.dot.ca.gov/dist11/d11tmc/sdmap/cameras/cameras.html"); 

    } 


    public boolean shouldVisit(WebURL url) { 

    String href = url.getURL().toLowerCase(); 


    DefaultHttpClient client = null; 

     try 
     { 
     System.out.println("----------------------------------------"); 
      System.out.println("WEB URL:- " +url); 


      client = new DefaultHttpClient(); 

      client.getCredentialsProvider().setCredentials(
        new AuthScope(AuthScope.ANY_HOST, AuthScope.ANY_PORT, AuthScope.ANY_REALM), 
        new UsernamePasswordCredentials("test", "test")); 
      client.getParams().setParameter(ClientPNames.ALLOW_CIRCULAR_REDIRECTS, true); 



     for(String exclusion : exclusions){ 
      if(href.startsWith(exclusion)){ 
       return false; 
      } 
     } 

     if (href.startsWith("http://") || href.startsWith("https://")) { 
      return true; 
     } 

      HttpGet request = new HttpGet(url.toString()); 

      System.out.println("----------------------------------------"); 
      System.out.println("executing request" + request.getRequestLine()); 
      HttpResponse response = client.execute(request); 
      HttpEntity entity = response.getEntity(); 


      System.out.println(response.getStatusLine()); 



    } 
     catch(Exception e) { 
      e.printStackTrace(); 
     } 


     return false; 
    } 

    public void visit(Page page) { 
    System.out.println("hello"); 
    int docid = page.getWebURL().getDocid(); 
     String url = page.getWebURL().getURL(); 
     System.out.println("Page:- " +url); 
     String text = page.getText(); 
     List<WebURL> links = page.getURLs(); 
    int parentDocid = page.getWebURL().getParentDocid(); 


    System.out.println("Docid: " + docid); 
     System.out.println("URL: " + url); 
     System.out.println("Text length: " + text.length()); 
     System.out.println("Number of links: " + links.size()); 
     System.out.println("Docid of parent page: " + parentDocid); 

} 
}

这是作为描述我的控制器类

public class Controller { 
    public static void main(String[] args) throws Exception { 

      CrawlController controller = new CrawlController("/data/crawl/root"); 


//And I want to crawl all those links that are there in this password protected page    
      controller.addSeed("http://search.somehost.com/"); 

      controller.start(MyCrawler.class, 20); 
      controller.setPolitenessDelay(200); 
      controller.setMaximumCrawlDepth(2); 
    } 
}

什么不对我做....

来源

2011-07-15 AKIWEB

你打电话拜访的地方？网络爬虫是否需要递归访问可访问的未访问网站（例如未排除等）？ –

@Amir阿富汗尼，感谢您回复..我在我的代码中使用这个履带。'http：// code.google.com/p/crawler4j /'这是我正在使用的源码..有几个类内置到此爬虫中。'https：// crawler4j.googlecode.com/svn/trunk/crawler4j/src/edu/uci/ics/crawler4j/example/simple /'。这是SVN的位置... – AKIWEB

在你粘贴的代码中，你在哪里调用访问方法？ –

在http://code.google.com/p/crawler4j/中，shoudVisit（）函数只应返回true或false。但是在你的代码中，这个函数也会获取错误页面的内容。当前版本的crawler4j（3.0）不支持抓取受密码保护的页面。

来源

2012-01-03 19:13:22 Yasser

什么是最好的java工具/ lib？ –

@AKIWEB复活一个旧的帖子，但什么可以是Java工具/ lib用于抓取认证后面的网页（谷歌身份验证，我必须抓取一个需要身份验证的sites.google.com） – Saurabh

抓取受密码保护的页面的所有链接

回答

相关问题