2017-01-06 35 views
1

我是新来的苏打水,我要问一些简单的问题:了解苏打水

  1. 是否产生火花水支持所有的这两个星火MLlib和H2O提供

  2. 算法是否苏打水本身提供Spark MLlib和H2O不支持的算法?

  3. 如果我想在Sparkling Water环境下使用Spark MLlib编写代码,我是否必须使用H2OContext或Sparkling Water相关API?

根据以上3个问题,我想我想了解的是Sparkling Water的工作原理。 (就目前而言,我知道的不多于Sparkling Water将Spark和H2O带到一起)

谢谢。

Questions-2017-01-11 

我能够与run-example.sh成功运行AirlinesWithWeatherDemo2例子,但我有两个问题:运行的应用程序时

  1. 水流量Web UI的打开(可通过54321端口访问)但是当应用程序完成时,打开54321端口的进程也会关闭(web ui无法再访问),我会询问当我运行该示例时,此流程UI提供了哪些功能,因为它可能很短-lived

  2. 苏打水是为了集成Spark和H2O,当我提交例子时,我只需要将sparkling-water-assembly_2.11-2.0.3作为应用程序jar(它包含示例类), 它看起来如果我想运行Sparkling water不提供的H2O算法,我应该添加H2O罐(h2o.jar)作为相关的罐子?

回答

2
  1. 不是真的,我们正在对包裹星火的MLlib算法,这样就可以从水的FlowUI和包装H2O的算法,这样你可以在MLlib的管道使用它们运行它们,但。

  2. 只有当您要运行H2O特定功能时,才需要H2OContext。

Sparkling Water只允许您在Spark节点内运行H2O节点,而不是手动引导H2O簇。这也允许您在H2O和Spark中使用数据。

@Edit:

  1. 没有,但你可能有一个长期运行的星火的工作,你做了一些初步计算后不退出,但锁定的作业(并需要以某种方式杀死它)。然后你可以像平常一样使用FlowUI。我们只需每次启动HTTP服务器(即使是演示)。没有理由不这样做。

  2. 您可以使用我们的液滴之一 - https://github.com/h2oai/h2o-droplets/tree/master/sparkling-water-droplet这是一个模板项目,你在主类中添加你的逻辑和运行./gradlew shadowJar与​​提交的罐子,它已经包含了所有的罐子。或者,正如您所提到的,您需要提供(尽管--jars--packages)所有必需的依赖项,包括H2O.jar。

+0

感谢@Mateusz的有用答案。我想我现在有了更清楚的理解,谢谢! – Tom

+0

请问你可以看一下'Questions-2017-01-11'部分的问题,谢谢 – Tom

+1

@完成了,下一次请提出一个新的问题 - 一些H2O开发人员(包括我)有SO过滤器和当出现此类问题时我们会收到电子邮件。 –