我必须安装Hadoop才能使用Elasticsearch ES-Hadoop连接器

-2

我有Elasticsaerch群集，并且想要使用Apache Spark在其上运行计算。 The ES-Hadoop connector包含可在Elasticsearch上运行计算的Spark库。我是否必须首先安装Hadoop，或者我可以将elasticsearch-spark_2.10-2.2.0-rc1.jar放在Spark类路径中，正如文档中提到的那样，以使其工作正常？我必须安装Hadoop才能使用Elasticsearch ES-Hadoop连接器

来源

2016-03-09 Eyal.Dahari

@AlbertoBonsanto - 这不是重复的问题。我问的是包含Spark和更多Hadoop解决方案的Elasticsearch hadoop连接器。我关心的是这个连接器，而不是Spark是否需要Hadoop才能运行，我知道它不。请善意兑换我的观点。 –

是的，你可以把jar放在classpath中，并且所有的都可以正常工作。为什么文件在说谎？ –

如果你想在Spark中使用ElasticSearch，那么我建议你使用Elasticsearch的Spark本地支持。

它更易于使用，并且可以直接将数据从弹性搜索存储到/从Spark RDD保存到弹性搜索。有关更多详细信息，请参阅：Elasticsearch Apache Spark support

来源

2016-03-10 11:28:01 Mahendra

我必须安装Hadoop才能使用Elasticsearch ES-Hadoop连接器

回答

相关问题