独立的Apache Spark - 作为从IP和端口放置什么？

我正尝试在本地MacBook Pro上启动Apache Spark群集。我开始与主：独立的Apache Spark - 作为从IP和端口放置什么？

myMachine$ ./start-master.sh

然后在记录器，我有这样的：

14/08/30 10:25:38 INFO Master: Starting Spark master at spark://myMachine.local:7077

现在我要开始一个从属：

myMachine$./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT

应该是什么正确的IP和PORT在这里？谢谢！

来源

2014-08-30 Edamame

你只是告诉这个奴隶在哪里找到主人。它应该使用myMachine.local或为“IP”甚至localhost（我不相信它真的需要一个实际的IP地址，主机名应该是罚款），7077的端口 - 也就是说，只是模仿什么打印出来当你开始主人。

myMachine$./bin/spark-class org.apache.spark.deploy.worker.Worker spark://myMachine.local:7077

来源

2014-09-01 03:02:37

由于我花了一段时间来弄明白我会指出如果你想要的只是一个Scala控制台，在你的笔记本电脑上玩一些例子，你可能不需要*一个集群。你可以运行'./bin/spark-shell --master local [4]'并使用'：load'加载你的Scala代码--4是你可以调整的线程数。如果你选中[编程指南]（http://spark.apache.org/docs/latest/programming-guide.html），你会发现你甚至可以在这个命令的末尾加上一个jar的名字来将它添加到类路径中。 – 2014-09-01 03:03:30

谢谢Spiro！我按照你的建议设置了工人，而主人似乎找到了它。但是，Java WordCount示例仍然不起作用。以下是错误消息，我在这里错过了什么？非常感谢！在org.apache.spark.deploy.master.Master $ 7077：“WARN AppClient $ ClientActor：无法连接到掌握org.apache.spark.SparkException：无效的主网址：火花：//火花：//myMachine.local。 toAkkaUrl（Master.scala：777）” ...‘WARN TaskSchedulerImpl：初始作业不接受任何资源;检查你的集群用户界面，以确保工人登记，并有足够的内存’ – Edamame 2014-09-01 06:09:18

@Edamame：看看其他的例子运行？这个吸烟枪是错误信息中的URL有一个重复的方案'spark：// spark：//' - 你确定你没有在你的spark-class命令中不小心重复它吗？或者您是否使用过任何涉及主机和端口的其他命令？ – 2014-09-01 15:34:25

启动主后，前往

localhost:8080

还有就是你的主人的IP和端口信息像

Spark Master at spark://yourip:7077

来源

2015-02-27 05:32:54 Reddevil

独立的Apache Spark - 作为从IP和端口放置什么？

回答

相关问题