在hadoop集群上安装spark集群

-1

我试图在hadoop集群上安装apache spark集群。在hadoop集群上安装spark集群

我在这方面寻找最好的实践。我假设spark master需要安装在hadoop datanode上的hadoop namenode和spark slave的同一台机器上。另外，我需要安装scala吗？请指教。

2016-06-12 K V

如果您的Hadoop集群正在运行YARN，只需使用纱线模式提交您的应用程序。这将是最简单的方法，不需要您安装任何软件，只需将Apache Spark分发下载到客户端机器即可。您可以做的另一件事是将Spark程序集部署到HDFS，以便在调用spark-submit时使用spark.yarn.jar配置，以便将JAR缓存到节点上。

在这里看到的所有细节：http://spark.apache.org/docs/latest/running-on-yarn.html

来源

2016-06-12 02:27:34 Silvio

听起来不错，我未解压最新的火花二进制分发版，并运行此命令/opt/spark-1.6.1/sbin/start-all.sh，但我得到错误： –

无法在/opt/spark-1.6.1/assembly/target/scala-2.10中找到Spark程序集。 test205：您需要在运行此程序之前构建Spark。 –

我现在得到：test205：未能启动org.apache.spark.deploy.worker.Worker：在从属日志文件中显示：[hadoop @ test205〜] $ tail -f /opt/spark-1.6.1-bin-没有hadoop/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-test205.kartikv.com.out at java.lang.Class.getMethod0（Class.java:3018） at java .lang.Class.getMethod（Class.java:1784）在sun.launcher.LauncherHelper.validateMainClass（LauncherHelper.java:544）在sun.launcher.LauncherHelper.checkAndLoadMain（LauncherHelper.java:526）引起：JAVA .lang.ClassNotFoundException：org.slf4j.Logger –

在hadoop集群上安装spark集群

回答

相关问题