将sparklyr连接到远程火花连接

Question

我想通过sparklyr将本地桌面RStudio会话连接到远程spark会话。当您在RStudio的sparklyr ui选项卡中添加新连接并选择群集时说您必须在群集上运行，或者与群集具有高带宽连接。

任何人都可以阐明如何创建这种连接？我不知道如何创建的这个重复的例子，但一般我会做的是：

library(sparklyr) 
sc <- spark_connect(master = "spark://ip-[MY_PRIVATE_IP]:7077", spark_home = "/home/ubuntu/spark-2.0.0", version="2.0.0") 

从远程服务器

。我知道会有延迟，特别是如果试图在遥控器之间传递数据。我也明白，在实际群集上安装第一台音频服务器会更好 - 但这并非总是可行，而且我正在寻找一个闪亮的选项，用于在我的服务器和桌面RStudio会话之间进行交互。谢谢。

Answer 1

从sparklyr版本0.4起，不支持从RStudio桌面连接到远程Spark群集。相反，正如你所提到的，推荐的方法是在Spark集群中安装RStudio Server。

也就是说，sparklyr的livy branch正在探索与Livy的整合，这将使RStudio桌面通过Livy连接到远程Spark群集。