2016-03-22 55 views

回答

2

请参阅此链接。它讲述了如何启动一个spark-shell并将其连接到快速存储。

http://snappydatainc.github.io/snappydata/connectingToCluster/#using-the-spark-shell-and-spark-submit

基本上你需要提供定位器属性,该定位器是相同的,你已经习惯了启动瞬间集群。

$ bin/spark-shell --master local[*] --conf snappydata.store.locators=locatorhost:port --conf spark.ui.port=4041

注意与创建与上述不同的计算集群来运行程序。当你从这个shell运行你的代码时,时髦的集群不会用于计算。所需的表格定义和数据从快速存储中以高效的方式获取。

将来我们可能会让这个shell连接到snappy集群,使得它使用snappy集群本身作为它的计算集群。

+0

虽然这可能会在理论上回答这个问题,但[这将是更可取的](// meta.stackoverflow.com/q/8259)在此包含答案的基本部分,并提供供参考的链接。 –

+1

是的,意识到它并编辑了我的回应。 –

+0

谢谢。所以,即使--master是本地[*],shell连接到spark驱动程序(作业服务器)并利用snappy集群的服务器设置?任何火花动作是否会利用所有conf/servers主机进行计算和数据分配? – Saif

相关问题