H2o包未找到斯卡拉苏打水

Question

我想运行苏打水在我的本地实例的Spark 2.1.0。 我遵循H2o关于喷射水的文档。但是，当我尝试执行

sparkling-shell.cmd 

我收到以下错误：

The filename, directory name, or volume label syntax is incorrect.

我看着批处理文件，我得到当执行下面的命令此错误：

C:\Users\Mansoor\libs\spark\spark-2.1.0/bin/spark-shell.cmd --jars C:\Users\Mansoor\libs\H2o\sparkling\bin\../assembly/build/libs/sparkling-water-assembly_2.11-2.1.0-all.jar --driver-memory 3G --conf spark.driver.extraJavaOptions="-XX:MaxPermSize=384m" 

当我删除--conf spark.driver.extraJavaOptions="-XX:MaxPermSize=384m"时，Spark启动，但我无法导入H2o的软件包。

import org.apache.spark.h2o._ 

error: object h2o is not a member of package org.apache.spark

我试图尽我所能，但无法来解决这个问题。有人可以帮助我吗？由于

Answer 1

问题是spark-shell命令，同时提交罐子。解决方法是修改火花defaults.conf

添加spark.driver.extraClassPath和spark.executor.extraClassPath参数火花defaults.conf文件，如下所示：

spark.driver.extraClassPath \path\to\jar\sparkling-water-assembly_version>-all.jar 

spark.executor.extraClassPath \path\to\jar\sparkling-water-assembly_version>-all.jar 

而且从波光粼粼，shell2.cmd删除--jars \path\to\jar\sparkling-water-assembly_version>-all.jar

Answer 2

请设法纠正您的路径：

C:\Users\Mansoor\libs\spark\spark-2.1.0/bin/spark-shell.cmd --jars C:\Users\Mansoor\libs\H2o\sparkling\bin\..\assembly\build\libs\sparkling-water-assembly_2.11-2.1.0-all.jar --driver-memory 3G --conf spark.driver.extraJavaOptions="-XX:MaxPermSize=384m"

也有大约在的Windows RSparkling，它可以包含不同的故障排除技巧文档页面... https://github.com/h2oai/sales-engineering/tree/master/megan/RSparklingAndWindows