使用SparkSession在Java或Scala中创建DSEGraphFrame

我想要在java或scala中获取DSE图的DSEGraphFrame。我现在用的是blog documentation，如下使用SparkSession在Java或Scala中创建DSEGraphFrame

//load a graph in Java 
DseGraphFrame graph = DseGraphFrameBuilder.dseGraph("test", spark); 


// load a graph in scala 
val graph = spark.dseGraph("test_graph")

它们都需要一个火花会话（Scala中是隐含的）。我的问题是你如何创建SparkSession spark？我试图通过已经建立自己的，但建筑商无法解析主：

val spark = SparkSession 
.builder 
.master("dse://<ip_address>") 
.appName("DseGraphFrames") 
.getOrCreate()

来源

2017-08-10 Mr_Destruction

只有dse spark-submit启动的应用程序可以理解dse://主地址。因此，请确保您的启动是由dse spark-submit

DSE Doc Reference

来源

2017-08-10 21:11:05 RussS

我得到执行'WARN 2017年8月11日16时25分58秒org.apache.spark.deploy.SparkNodeConfiguration：无法从DSE'获取动态配置和工作从未执行，它从不开始。 –

这意味着该节点不是启用分析功能，或者存在其他一些网络或身份验证问题 – RussS

启用了分析功能，并且我的身份验证应该正常，因为我可以运行Gremlin OLAP查询 –

使用SparkSession在Java或Scala中创建DSEGraphFrame

回答

相关问题