Nutch和Elasticsearch 1.1.1

我使用Elasticsearch 1.1.1并试图让Nutch使用它。我已经尝试了版本1.8和2.2.1。当我完成运行抓取，我得到这样的最终结果：Nutch和Elasticsearch 1.1.1

... 
Indexer: starting at 2014-06-13 00:14:33 
Indexer: deleting gone documents: false 
Indexer: URL filtering: false 
Indexer: URL normalizing: false 
Active IndexWriters : 
ElasticIndexWriter 
elastic.cluster : elastic prefix cluster 
elastic.host : hostname 
elastic.port : port 
elastic.index : elastic index command 
elastic.max.bulk.docs : elastic bulk index doc counts. (default 250) 
elastic.max.bulk.size : elastic bulk index length. (default 2500500 ~2.5MB) 


Indexer: java.io.IOException: Job failed! 
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1357) 
at org.apache.nutch.indexer.IndexingJob.index(IndexingJob.java:114) 
at org.apache.nutch.indexer.IndexingJob.run(IndexingJob.java:176) 
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 
at org.apache.nutch.indexer.IndexingJob.main(IndexingJob.java:186)

我已经更新了新版本的ivy.xml文件，并试图对事物的每变化我可以从各种教程和文章上找出这里。

来源

2014-06-13 milkdog7

中继包含一个补丁https://issues.apache.org/jira/browse/NUTCH-1745，它已被承诺并将在Nutch-1.9中。它应该解决您的问题 - 尽管您发布的消息无助于确定问题实际是什么。

BTW你会被张贴在Nutch user list

来源

2014-06-18 15:59:03

我直接从SVN下载Nutch-1.9，因为它尚未完成。似乎是完美的为我工作。非常感谢你！ – milkdog7

它发生在我身上也得到了更多的相关受众，原来，索引器插件indexer-elastic仍然配置为使用旧版本elasticsearch作为依赖在src\plugin\indexer-elastic\ivy.xml

来源

2014-10-21 18:54:44

Nutch和Elasticsearch 1.1.1

回答

相关问题