Spark Worker节点自动停止

我正在运行Spark Standalone群集，并且在提交应用程序时，spark驱动程序停止并出现以下错误。Spark Worker节点自动停止

16/01/12 23:26:14 INFO Worker: Asked to kill executor app-20160112232613-0012/0 
16/01/12 23:26:14 INFO ExecutorRunner: Runner thread for executor app-20160112232613-0012/0 interrupted 
16/01/12 23:26:14 INFO ExecutorRunner: Killing process! 
16/01/12 23:26:14 ERROR FileAppender: Error writing stream to file /spark/spark-1.4.1/work/app-20160112232613-0012/0/stderr 
java.io.IOException: Stream closed 
     at java.io.BufferedInputStream.getBufIfOpen(BufferedInputStream.java:170) 
     at java.io.BufferedInputStream.read1(BufferedInputStream.java:283) 
     at java.io.BufferedInputStream.read(BufferedInputStream.java:345) 
     at java.io.FilterInputStream.read(FilterInputStream.java:107) 
     at org.apache.spark.util.logging.FileAppender.appendStreamToFile(FileAppender.scala:70) 
     at org.apache.spark.util.logging.FileAppender$$anon$1$$anonfun$run$1.apply$mcV$sp(FileAppender.scala:39) 
     at org.apache.spark.util.logging.FileAppender$$anon$1$$anonfun$run$1.apply(FileAppender.scala:39) 
     at org.apache.spark.util.logging.FileAppender$$anon$1$$anonfun$run$1.apply(FileAppender.scala:39) 
     at org.apache.spark.util.Utils$.logUncaughtExceptions(Utils.scala:1772) 
     at org.apache.spark.util.logging.FileAppender$$anon$1.run(FileAppender.scala:38) 
16/01/12 23:26:14 INFO Worker: Executor app-20160112232613-0012/0 finished with state KILLED exitStatus 143 
16/01/12 23:26:14 INFO Worker: Cleaning up local directories for application app-20160112232613-0012

我是新手来Spark和它的processing.Please帮我在这。

来源

2016-01-13 Poppy

您是否检查过这个'/ spark/spark-1.4.1/work/app-20160112232613-0012/0/stderr'文件的访问权限？无论如何，这可能不仅仅是问题（为什么工作者首先杀死执行者？）。 –

你在使用AWS吗？ – Rami

@DawidPura：是的，它拥有所有权限，并以root用户身份执行。难道就像它没有拿我的瓶子来执行？ – Poppy

在我的情况下，问题是，spark驱动程序无法从提交的可执行jar获取依赖关系。合并所有依赖项并将它们转换为单个可执行文件。它解决了这个问题。

请与我术语承担:)

来源

2016-01-13 10:26:50 Poppy

错误不是由产生java.io.IOException引起的，因为你可以清楚地看到16/01/12 23:26:14 INFO Worker: Asked to kill executor app-20160112232613-0012/0。此后，spark会在尝试写入日志文件时引发此异常，其中您还将观察错误的原因。

即使您使用root权限运行spark-submit，它也是写入文件的spark用户。我猜你正在你的笔记本电脑上运行这个。试着在你的spark文件夹上运行sudo chmod -R 777。

来源

2016-01-13 16:11:46

Spark Worker节点自动停止

回答

相关问题