apache spark集群

Question

我试图在纱线客户端模式（不带火花提交）模式下单独运行火花立场应用。我在类路径中给出了spark-assembly-1.1.0-hadoop2.4.0.jar和hadoop conf（yarn-site.xml），但yarn没有从yarn-site.xml中选取ResourceManager url，而是默认为8032端口。

谢谢

Answer 1

请注意，如果您已在classpath添加了一个以上路径，你必须做出HADOOP_CONF_DIR第一个。

这是我的应用程序的启动脚本：

set HADOOP_CONF_DIR=D:\data\yarnv2_5\Hadoop\etc\hadoop 
set PATH=%PATH%;D:\data\AppDependencies\jdk1.8\bin 
set JAVA_HOME=D:\data\AppDependencies\jdk1.8 
set AKKA_HOME=%~dp0 
set JAVA_OPTS=-Xmx100g -Xms1024M -Xss1M -XX:MaxPermSize=256M -XX:+UseParallelGC -Dfile.encoding=UTF8 
set AKKA_CLASSPATH=%AKKA_HOME%\* 

rem The order matters! Be sure to put HADOOP_CONF_DIR in the first place. 
set APP_CLASSPATH = %HADOOP_CONF_DIR%;%AKKA_CLASSPATH% 

java %JAVA_OPTS% -cp "%IN4_CLASSPATH%" com.Application 

如果你选择一个以上的路径在classpath，Hadoop的（或者更准确地说，JVM）一旦它找到的配置文件将停止。第一条路径往往是你当前的路径，它会在你的spark-assembly-1.x.x-hadoop-2.x.x.jar中找到配置文件，而你在HADOOP_CONF_DIR中的配置将不显示任何影响。