在火花独立模式下运行Spark作业服务器时出现异常

我正在尝试使用Spark job server - 具体地说，我可以在本地火花模式下运行WordCountExample应用程序。但是，当我试图将应用程序指向远程Spark主机时，我遇到了异常。在火花独立模式下运行Spark作业服务器时出现异常

以下是我用于运行WordCountExample应用的命令：

1. sudo docker run -d -p 8090:8090 -e SPARK_MASTER=spark://10.501.502.503:7077 velvia/spark-jobserver:0.6.0 
2. sbt job-server-tests/package 
3. curl --data-binary @job-server-tests/target/scala-2.10/job-server-tests_2.10-0.6.2-SNAPSHOT.jar localhost:8090/jars/test 
4. curl -d "input.string = a b c a b see" 'localhost:8090/jobs?appName=test&classPath=spark.jobserver.WordCountExample'

以下是我打当我跑上面的步骤4除外：

{ 
    "status": "ERROR", 
    "result": { 
    "message": "Futures timed out after [15 seconds]", 
    "errorClass": "java.util.concurrent.TimeoutException", 
    "stack": ["scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219)", "scala.concurrent.impl.Promise$DefaultPromise.result(Promise.scala:223)", "scala.concurrent.Await$$anonfun$result$1.apply(package.scala:107)", "akka.dispatch.MonitorableThreadFactory$AkkaForkJoinWorkerThread$$anon$3.block(ThreadPoolBuilder.scala:169)", "scala.concurrent.forkjoin.ForkJoinPool.managedBlock(ForkJoinPool.java:3640)", "akka.dispatch.MonitorableThreadFactory$AkkaForkJoinWorkerThread.blockOn(ThreadPoolBuilder.scala:167)", "akka.dispatch.BatchingExecutor$Batch.blockOn(BatchingExecutor.scala:101)", "scala.concurrent.Await$.result(package.scala:107)", ...

我开始远程火花簇（主人和工人）使用

cd $SPARK_HOME 
./sbin/start-all.sh

远程集群使用Spark version 1.5.1（即预建的二进制spark-1.5.1-bin-hadoop2.6）

问题

对我怎么能调试这有什么建议？
有没有我可以查看的日志找出根本原因？

在此先感谢。

来源

2015-11-30 jithinpt

你可以检查有多少个Spark JVM正在运行？我认为你可能只有一个没有工作人员的Spark大师，任何工作最终都会超时导致像你遇到的问题。只是一种预感。 –

有4个工作JVM正在运行。我可以在Spark群集上启动其他Spark作业。但是，火花作业服务器超时。 – jithinpt

这可能是一个网络问题。 SJS服务器应该可以从Spark群集到达。

来源

2015-12-09 08:16:36 noorul

我有同样的问题火花1.6.1。我将jobserver版本更改为最后版本（0.6.2.mesos-0.28.1.spark-1.6.1），它适用于我。

来源

2016-05-06 12:15:58 Cortwave

在火花独立模式下运行Spark作业服务器时出现异常

回答

相关问题