运行后Spark集群失败并且未抛出异常

我试图在EC2 Yarn命令行上运行独立的Spark应用程序。我提交以下火花提交脚本：运行后Spark集群失败并且未抛出异常

./bin/spark-submit --class PageRankGraphX --master yarn-cluster --properties-file spark-defaults.conf.2 --executor-memory 2G --total-executor-cores 5 ./SparkPageRank-assembly-1.0.jar s3://linkfilefull/full/links_small.txt s3://conansoutputbucket/smalloutput.txt 10 0.15 2

这是输出 - 没有抛出异常或错误，作业只需运行后失败：

15/04/15 21:27:03 INFO yarn.Client: Application report from ASM: 
     application identifier: application_1429126831428_0027 
     appId: 27 
     clientToAMToken: null 
     appDiagnostics: 
     appMasterHost: ip-172-31-1-67.eu-west-1.compute.internal 
     appQueue: default 
     appMasterRpcPort: 0 
     appStartTime: 1429133214320 
     yarnAppState: RUNNING 
     distributedFinalState: UNDEFINED 
     appTrackingUrl: http://172.31.10.227:9046/proxy/application_1429126831428_0027/ 
     appUser: hadoop 
15/04/15 21:27:04 INFO yarn.Client: Application report from ASM: 
     application identifier: application_1429126831428_0027 
     appId: 27 
     clientToAMToken: null 
     appDiagnostics: 
     appMasterHost: ip-172-31-1-67.eu-west-1.compute.internal 
     appQueue: default 
     appMasterRpcPort: 0 
     appStartTime: 1429133214320 
     yarnAppState: FINISHED 
     distributedFinalState: FAILED 
     appTrackingUrl: http://172.31.10.227:9046/proxy/application_1429126831428_0027/A 
     appUser: hadoop

有谁知道有什么事情是造成这一点还是我可以调查？当我尝试访问纱线日志时，它说日志已禁用或未准备好。

来源

2015-04-15 user3297367

如果启用S3日志记录，则纱线日志将位于S3中。查看应用程序主机发出的错误。 – ChristopherB

你有没有得到这个解决方案？我遇到了同样的问题。 –

-1

检出Amazon's documentation关于启用对Hadoop的Web UI的访问。一旦进入用户界面，您可以检查应用程序的stderr输出，其中最有可能是异常。正如其他人所说，这个日志也将在S3上发布。

来源

2015-11-05 01:18:35 Greg

运行后Spark集群失败并且未抛出异常

回答

相关问题