有没有人有幸为nutch编写自定义索引器来将elasticsearch的索引结果编入索引?或者你知道任何已经存在的东西吗?您是否使用过elasticsearch索引nutch爬行结果?
8
A
回答
2
没有做到这一点,但这绝对是可行的,但需要搭载SOLR代码(src/java/org/apache/nutch/indexer/solr)并将其调整为ElasticSearch。对Nutch来说会是一个不错的贡献BTW
3
我知道Nutch会添加可插入的后端,并很高兴看到它。我需要将elasticsearch与Nutch 1.3集成。代码在这里发布。捎带(src/java/org/apache/nutch/indexer/solr)代码。
+0
我是新来的java,所以我不知道如何在Ubuntu上创建一个包,然后重建它。我已经在/ home/peter/nutch /位置安装了nutch,所以我不知道在哪里复制ivy文件和java文件。还有什么设置必须添加到常春藤文件? – peter 2012-12-17 04:41:24
10
我写了一个ElasticSearch插件,嘲笑Solr的API。使用这个插件和标准的Nutch Solr索引器,您可以轻松地将抓取的数据发送到ElasticSearch。插件以及如何使用Nutch使用它的一个例子可以在GitHub上找到:
0
时间的推移,现在Nucth已与ElasticSearch集成好。 Here是一个不错的教程。
相关问题
- 1. nutch是否爬过窗体?
- 2. 使用Nutch 2.3,Cassandra 2.0和solr 4.10.3爬行返回0结果
- 3. Nutch爬行没有错误,但结果是没有
- 4. 使用elasticsearch过滤搜索结果
- 5. nutch爬行路径
- 6. 如何使用Nutch的-2.2.1爬行
- 7. 的Web爬行使用Solr的Nutch的
- 8. Nutch问题执行爬行
- 9. 如何在爬行时制作Apache Nutch索引
- 10. 删除从HTML菜单中的爬行索引或者使用Nutch和Solr
- 11. apache nutch通过REST索引到索引
- 12. Solr使用Nutch Crawler索引
- 13. Apache nutch不再爬行
- 14. 空的Nutch爬行列表
- 15. 在Nutch中增量爬行
- 16. 无法启动Nutch爬行
- 17. 获取Nutch爬行状态?
- 18. 使用NEST搜索elasticsearch索引不会产生结果
- 19. 如何使用Elasticsearch 5.x与Nutch /如何索引Elasticsearch 5中的HTML网页?
- 20. 用nutch 1.8爬行不同的网站
- 21. 过滤搜索结果与elasticsearch
- 22. 如何修改nutch索引编写器用于elasticsearch的索引模板?
- 23. 在Solr中使用Nutch爬虫
- 24. 检查Elasticsearch是否已完成索引
- 25. 在搜索结果开始时使用匹配搜索词,而不是在搜索结果中使用elasticsearch
- 26. Elasticsearch仅在索引有字段时使用索引过滤器
- 27. 如何使用Nutch索引NFS挂载?
- 28. 使用nutch索引所有内部网
- 29. 索引或autovacuum是否改变查询结果的行为?
- 30. Nutch的履带被爬行'作为€
这是我采取的方法。我也编写了自己的elasticsearch索引器和我自己的抓取过程。 – neildf 2011-05-26 11:38:40