Spark - 从本地机器添加工人（独立的Spark集群管理器）？

当在一台机器上运行spark 1.4.0时，我可以使用这个命令“./bin/spark-class org.apache.spark.deploy.worker.Worker myhostname：7077”来添加worker。官方文档指出另一种方法，在“conf/slaves”文件中添加“myhostname：7077”，然后执行命令“sbin/start-all.sh”，该命令调用conf/slaves文件中列出的主人和所有工作人员。但是，后面的方法不适用于我（有超时错误）。谁能帮我这个？Spark - 从本地机器添加工人（独立的Spark集群管理器）？

这里是我的conf /奴隶文件（假设主机URL是MYHOSTNAME：700）：

MYHOSTNAME：700

来源

2015-06-20 Jes

的conf.slaves文件应该只是主机名的列表，你不” t需要包含启动时运行的端口＃（我认为如果你这样做的话会尝试在那个端口上ssh，这可能是超时来自的地方）。

来源

2015-06-20 06:35:44 Holden

谢谢，霍尔顿。但是，在我删除端口后它仍然不起作用。这里是我在奴隶文件中添加的全名“Tsung-Weis-MacBook-Pro.local”，我收到Connection refused错误。 – Jes

你可以发布命令和日志吗？当你对该主机ssh时会发生什么？ – Holden

如果您的连接拒绝错误，我的_guess_会是您没有安装ssh服务器，所以我会安装一个ssh服务器并确保设置无密码（例如ssh密钥）的访问权限。 – Holden

Spark - 从本地机器添加工人（独立的Spark集群管理器）？

回答

相关问题