Apache的Nutch的津贴

Question

我碰到这个非常大的工具，潜水前深入到一些不那么漂亮文件及/或购买一个ebook传来：我只想问一句：

如何Apache的Nutch的处理JavaScript重的网站，它如何获取页面？ 我的意思是：它如何克服IP禁令？

Answer 1

使用Javascript - 有一个基于硒协议的实现，这可以用JS网站

的Nutch基于Hadoop的，所以是批量驱动的帮助。如果您是在基于流的爬行框架之后，那么StormCrawler将是更好的工具。