以本地模式运行火花应用程序

我试图用spark-submit在本地模式下启动我的Spark应用程序。我在Windows上使用Spark 2.0.2，Hadoop 2.6 & Scala 2.11.8。应用程序可以在我的IDE（IntelliJ）中正常运行，并且我还可以使用实际的物理执行程序在集群上启动它。以本地模式运行火花应用程序

我跑的命令是

spark-submit --class [MyClassName] --master local[*] target/[MyApp]-jar-with-dependencies.jar [Params]

星火像往常一样启动，但随后

java.io.Exception: Failed to connect to /192.168.88.1:56370

终止缺少什么我在这里？

来源

2017-02-03 DNR

检查哪个端口使用的是：如果集群：登录到主节点，包括：

--master spark://XXXX:7077

你总能找到它的火花UI下端口8080

还检查检查你的火花建设者的配置，如果你已经设置主已经为它推出例如，当优先级：

val spark = SparkSession 
    .builder 
    .appName("myapp") 
    .master("local[*]")

来源

2017-02-03 15:08:30

运行本地本地机器，但火花上：// XXXX：7077从主节点 –

但我不是运行在集群上，我想在本地机器上以本地模式运行它。当然，我不需要替换“本地[*]”呢？ – DNR

在这种情况下，在代码中放置'val spark = SparkSession.builder.master（“local [*]”）'，并且不要在提交时使用--master，但是当您使用--master提交选项时，请确保您将'spark：xxx：7077'作为主机：只需从localhost：8080 web ui复制，并且不要在主要方法 –

以本地模式运行火花应用程序

回答

相关问题