运行火花蟒蛇的工作 - 拦截System.exit（1）

我要运行一些星火Python脚本为Oozie的工作流程，我在当地星火测试脚本，但是当我提交给Oozie的我可以”弄清楚为什么不工作。我正在使用Cloudera VM，并使用Hue仪表板管理Oozie。下面是火花操作流程配置：运行火花蟒蛇的工作 - 拦截System.exit（1）

Spark Master: local[*] 
Mode: client 
App name: myApp 
Jars/py files: hdfs://localhost:8120/user/cloudera/example.py 
Main class: org.apache.spark

我想也运行一个简单的例子，只是打印的东西，但每个脚本我提交了Oozie给了我这样的输出：

>>> Invoking Spark class now >>> 

Intercepting System.exit(1) 

<<< Invocation of Main class completed <<< 

Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], exit code [1] 

Oozie Launcher failed, finishing Hadoop job gracefully 

Oozie Launcher, uploading action data to HDFS sequence file: hdfs://quickstart.cloudera:8020/user/cloudera/oozie-oozi/0000005-161228161942928-oozie-oozi-W/spark-cc87--spark/action-data.seq 

Oozie Launcher ends

[编辑]

我发现工作流程只有在设置了spark master：yarn-cluster时才会启动，但即使在这种模式下，它仍然启动了容器保持卡在95％完成状态，而Spark应用程序仍处于状态ACCEPTED状态。我试图改变Yarn内存参数以允许Spark动作启动。粗壮只是打印心跳

[解决]

的Oozie的工作流程开始仅当PY文件是本地的，并手动地插入lib文件夹色调创造了工作流的文件夹之后。我认为，最好的解决办法仍然是写一个shell脚本火花提交

来源

2016-12-28 Alessio Rossotti

是你的python hdfs位置正确吗？ 'hdfs：// localhost：8120/user/cloudera/example.py' – mrsrinivas

是的，以前我将路径设置为/user/cloudera/example.py，并得到错误'file not found'，但现在控制台只是说System.exit（1）。 –

“lib文件夹”，你的意思是在本地spark python文件夹中的lib文件夹？ –

你所显示是从Oozie的作业标准输出文件中的错误。你可以检查一次stderr文件并在这里发布你的输出。这可能会有更多与你的问题有关的线索。

您可以使用Oozie的Web控制台追查Oozie的作业日志。

来源

2016-12-29 10:28:27

的Oozie的控制台只是说：WARN org.apache.oozie.action.hadoop.SparkActionExecutor：SERVER [quickstart.cloudera] USER [Cloudera公司]集团[ - ]标记[] APP [Hour_Fillter] JOB [0000000-161229183653282-Oozie的-oozi -W] ACTION [0000000-161229183653282-oozie-oozi -W @ spark-cc87]启动器错误，原因：主类[org.apache.oozie.action.hadoop.SparkMain]，退出代码[1]，没有更多细节 –

在此之下，您可以看到控制台URL的链接。点击该链接并进一步点击地图链接，然后点击任务名称，然后点击应用程序尝试日志。在这些日志中，可以找到3种日志syslog/stdout/stderr。你可以在其中找到你的问题。你能尝试让我知道吗？ –

的斯陶德输出是我上面贴一个，系统日志/标准错误只是说系统出1 –

你应该看看火花历史（色相有右上角部的选项中工作histoy选项卡中单击上，这将使你的历史记录URL）。一旦你有了，你可以检查EXECUTORS选项卡并点击标准输出。你可以在那里看到主要的错误。 OOzie日志永远不可读。

来源

2016-12-30 09:20:07 sau

如果我去工作的浏览器我找到一个succeded工作，显然没有在系统日志/标准输出没有错误。但没有文件是由火花写入hdfs，如果我去火花历史我没有找到任何东西，系统退出1表明出现了问题.. –

@AlessioRossotti好吧，那么你应该看到哈多普jobhistory（所有退休hadoop应用程序）并在那里查看日志 – sau

运行火花蟒蛇的工作 - 拦截System.exit（1）

回答

相关问题