ibm bluemix spark提交

我是Bluemix的新用户。我创建了Apache Spark服务，并试图通过spark提交一个简单的hello-world jar。（我用这个链接休耕：https://console.ng.bluemix.net/docs/services/AnalyticsforApacheSpark/index-gentopic3.html#genTopProcId4 ibm bluemix spark提交

提交罐子后，日志文件说：

Submit job result: { "action" : "CreateSubmissionResponse",
"message" : "Driver successfully submitted as driver-20170602xxxxxxxxxxx", "serverSparkVersion" : "2.0.2",
"submissionId" : "driver-20170602xxxxxxxxxxx", "success" : true }

Submission ID: driver-20170602xxxxxxxxxxx Job submitted : driver-driver-20170602xxxxxxxxxxx Polling job status. Poll #1. Getting status ==== Failed Status output ===================================================== ERROR: Job failed. spark-submit log file: spark-submit_1496403637550663675.log View job's stdout log at stdout_1496403637550663675 View job's stderr log at stderr_1496403637550663675

什么可能是在这种情况下，问题

而且我看到人们在谈论笔记本吗？和木星访问/运行火花的工作。但我不认为我的仪表板中的笔记本电脑/木星选项。

谢谢您的输入

在stdout即卷曲，（https://spark.eu-gb.bluemix.net/tenant/data/workdir/driver-20170614074046xxxxxxxxx277e6a/stdout）是：“没有多余的配置中定义的”

但我发现下面的错误消息的标准错误：

log4j的：错误无法找到关键log4j.appender.FILE值 log4j：错误无法实例化名为“FILE”的appender。错误deploy.ego.EGOClusterDriverWrapper：未捕获的异常： java.nio.file.NoSuchFileException：/gpfs/fs01/user/sd74-836f4292ca6442xxxxxxxx/data/e717e66fe44f5a1ea7eec81cbd/hellospark_2.11-1.0.jar 在sun.nio.fs. unixException.translateToIOException（UnixException.java:98） at sun.nio.fs.UnixException.rethrowAsIOException（UnixException.java:114） at sun.nio.fs.UnixException.rethrowAsIOException（UnixException.java:119） at sun。（UnixFileSystemProvider.java:265）（位于java.nio.file.Files.copy（Files.java:1285））（位于sun.nio.fs.UnixFileSystemProvider.copy（UnixFileSystemProvider.java:265）在org.apache.spark.util.Utils $ .ORG $阿帕奇$火花$ UTIL $ utils的$$ copyRecursive（Utils.scala：629） at org.apache.spark.util.Utils $ .copyFile（Utils.scala：600） at org.apache.spark.util.Utils $ .doFetchFile（Utils.scala：685） at org.apache.spark。在org.apache.spark.deploy.ego.EGOClusterDriverWrapper $$ util.Utils $ .fetchFile（Utils.scala：484） .ego.EGOClusterDriverWrapper $$ anonfun $ startUserClass $ 2.apply（EGOClusterDriverWrapper.scala：404） at scala.collection.IndexedSeqOptimized $ class.foreach（IndexedSeqOptimized.scala：33） at scala.collection.mutable.ArrayOps $ ofRef.foreach （ArrayOps.scala：186）在org.apache.spark.deploy.ego.EGOClusterDriverWrapper.startUserClass（EGOClusterDriverWrapper.scala：404）在org.apache.spark.deploy .ego.EGOClusterDriverWrapper.runDriver（EGOClusterDriverWrapper.scala：295） at org.apache.spark.deploy.ego.EGOClusterDriverWrapper.run（EGOClusterDriverWrapper.scala：218） at org.apache.spark.deploy.ego.EGOClusterDriverWrapper $$ anonfun $ receive $ 1 anon $ 1.run（EGOClusterDriverWrapper.scala：144）

来源

2017-06-02 user1271254

看起来您已经粘贴了spark提交脚本的输出而不是日志文件的内容？

您可以通过访问日志文件：

curl \ 
    -X GET \ 
    -u <tenant_id>:<tenant_secret> \ 
    -H 'X-Spark-service-instance-id: <instance_id>' \ 
    https://169.54.219.20/tenant/data/workdir/<submission-id>/stdout

我建议打开一个新的问题，在日志文件中的错误消息，如果您需要更多的帮助。

对于问题的第二部分，可以通过数据科学体验获得火花笔记本。您可以在这里注册Data Science Experience：https://datascience.ibm.com

来源

2017-06-02 14:59:15

感谢您的输入。我通过添加spark的sdterr来编辑问题。请看一看 – user1271254

ibm bluemix spark提交

回答

相关问题