2015-05-16 29 views
0

我一直试图在亚马逊的私有云上​​的干净的Ubuntu 14.04机器上设置Hadoop/Spark/Sparkling Water。以根为目的做一切事情。我成功地获得了java-6,scala 2.10.5,然后wget和解压hadoop 2.6,spark 1.2.1和sparkling water 0.2.1-47。干净的ubuntu机器上的苏打水设置

我出口HADOOP_HOME和SPARK_HOME正确的目录,并运行斌/波光粼粼的壳:

import org.apache.spark.h2o._ 
import org.apache.spark.examples.h2o._ 
val h2oContext = new H2OContext(sc).start() 

有那么下面开始任务X /完成任务X输出的巨量,随后

java.lang.IllegalArgumentException: Cannot execute H2O on all Spark executors: 
    numH2OWorkers = -1" 
    executorStatus = (0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(1,false),(1,false),(1,false),(1,false),(1,false),(1,false),(1,false),(1,false),(0,false),(1,false),(0,false),(1,false),(1,false),(0,false),(1,false),(0,false),(1,false),(1,false),(0,false),(0,false),(1,false),(1,false),(0,false),(0,false),(2,false),(2,false),(1,false),(0,false),(1,false),(0,false),(2,false),(1,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(1,false),(2,false),(0,false),(2,false),(1,false),(0,false),(1,false),(0,false),(1,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(1,false),(0,false),(2,false),(0,false),(2,false),(1,false),(2,false),(1,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(1,false),(2,false),(0,false),(1,false),(0,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(0,false),(1,false),(2,false),(1,false),(2,false),(0,false),(0,false),(1,false),(2,false),(2,false),(1,false),(1,false),(0,false),(0,false),(2,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(2,false),(1,false),(0,false),(2,false),(1,false),(2,false),(0,false),(1,false),(1,false),(2,false),(0,false),(2,false),(2,false),(1,false),(1,false),(0,false),(2,false),(0,false),(1,false),(2,false),(0,false),(1,false),(2,false),(2,false),(1,false),(0,false),(0,false),(2,false),(1,false),(2,false),(0,false),(0,false),(1,false),(2,false),(1,false),(2,false),(1,false),(2,false),(0,false),(1,false),(0,false),(2,false),(1,false),(0,false),(1,false),(2,false),(0,false),(2,false),(0,false),(1,false),(0,false),(1,false),(2,false),(1,false),(2,false) 
at org.apache.spark.h2o.H2OContext.start(H2OContext.scala:112) 
(...) 

有人能指出我可能做错了什么和/或失踪了吗?如果需要/有帮助,我可以发布我的精确设置脚本。

+0

你遇到过这个错误吗? - http://stackoverflow.com/questions/31236639/h2o-sparkling-water-error-while-creating-h2o-cloud – PRP

回答

0

我已经通过构建项目而不是下载zip解决了这个问题。目前适用于我的设置(我不认为它是唯一可用的设置)是:openjdk7,hadoop 2.6,spark 1.2.0。注意HADOOP_HOME和SPARK_HOME必须导出shell变量,并且该机的私有IP必须添加到/ etc/hosts表,这是可以做到的:

echo $(ifconfig eth0 | grep 'inet addr:' | cut -d: -f2 | cut -d' ' -f1) $(hostname) localhost >> /etc/hosts 

然后混帐克隆波光粼粼的水项目和./在项目目录中建立gradlew。