2014-10-12 14 views
11

我按照这个页面在yarn-cluster模式下运行YARN上的SparkPi示例应用程序。在纱线丛集模式下在YARN上运行Spark:控制台输出到哪里去?

http://spark.apache.org/docs/latest/running-on-yarn.html

我没有看到节目的末尾的输出(它是在这种情况下,计算的结果)。当我在纱线客户机模式运行(--master纱客户端),我看到的输出是这样的:

Pi为大约3.138796

哪里的标准出去在纱线丛集模式?

回答

9

经过大量的摸索,我发现这在spark-0.9.0 doc

检查输出(与由先前命令中的“应用标识符”输出以下替换$ YARN_APP_ID) (注:YARN_APP_LOGS_DIR通常为/ tmp /日志或$ HADOOP_HOME /日志/ userlogs取决于Hadoop的版本)。

$猫$ YARN_APP_LOGS_DIR/$ YARN_APP_ID /容器* _000001 /标准输出

Pi为大约3.13794

我希望他们把这个指令在0123也是。

+0

日志信息位于文档的“调试您的应用程序”部分。它还介绍如何使用'yarn logs'命令查看日志。 – 2015-03-19 14:35:05

相关问题