我似乎无法找到使用conf/servers中设置的所有服务器启动shell的方法如何使用所有snappydata集群服务器启动spark-shell?
只有发现可以使用/bin/snappy-job.sh提交群集作业,其中我指定了领先的位置,但想尝试实时外壳采用全集群
谢谢您做一些测试,
赛义夫
我似乎无法找到使用conf/servers中设置的所有服务器启动shell的方法如何使用所有snappydata集群服务器启动spark-shell?
只有发现可以使用/bin/snappy-job.sh提交群集作业,其中我指定了领先的位置,但想尝试实时外壳采用全集群
谢谢您做一些测试,
赛义夫
请参阅此链接。它讲述了如何启动一个spark-shell并将其连接到快速存储。
基本上你需要提供定位器属性,该定位器是相同的,你已经习惯了启动瞬间集群。
$ bin/spark-shell --master local[*] --conf snappydata.store.locators=locatorhost:port --conf spark.ui.port=4041
注意与创建与上述不同的计算集群来运行程序。当你从这个shell运行你的代码时,时髦的集群不会用于计算。所需的表格定义和数据从快速存储中以高效的方式获取。
将来我们可能会让这个shell连接到snappy集群,使得它使用snappy集群本身作为它的计算集群。
虽然这可能会在理论上回答这个问题,但[这将是更可取的](// meta.stackoverflow.com/q/8259)在此包含答案的基本部分,并提供供参考的链接。 –
是的,意识到它并编辑了我的回应。 –
谢谢。所以,即使--master是本地[*],shell连接到spark驱动程序(作业服务器)并利用snappy集群的服务器设置?任何火花动作是否会利用所有conf/servers主机进行计算和数据分配? – Saif