elasticsearch-hadoop如何创建两个基于不同ES群集的RDD

我需要从两个不同的ES群集中加入两个Rdds，但是我发现我可以基于一个ES群集创建一个SparkConf和SparkContext。例如，代码如下：elasticsearch-hadoop如何创建两个基于不同ES群集的RDD

var sparkConf: SparkConf = new SparkConf() 
sparkConf.set("es.nodes", "192.168.0.22:9200") 
val rdd1=sc.esRDD("userIndex1/type1")

所以，如何从不同的ES集群创建两个RDD？

来源

2016-05-24 Jack

esRDD有cfg参数。您可以使用val rdd1=sc.esRDD("userIndex1/type1", Map("es.nodes" -> "192.168.0.22:9200")来设置配置。

来源

2016-05-24 20:25:12 zsxwing

太棒了！我没有在官方文档中找到它，通过阅读源代码，您是如何得知它的？ – Jack

是的。只需看看这里的'esRDD'：https://github.com/elastic/elasticsearch-hadoop/blob/master/spark/core/main/scala/org/elasticsearch/spark/rdd/EsSpark.scala#L23 – zsxwing

elasticsearch-hadoop如何创建两个基于不同ES群集的RDD

回答

相关问题