火花纱群集预安装

Question

我试图用纱线制作火花群集。 我是否需要将纱线安装到所有节点？ 我知道纱线将会运送所有需要的罐子和MR，但是需要它们，我认为工作节点需要纱线包装。主节点应该安装HDFS和jar以及纱线。

Answer 1

YARN需要两个过程

1. 资源管理器
2. 节点管理器

资源管理器是主其代表的任务。节点管理器是从事某项工作的奴隶。 必须在一台机器（生产级服务器）上安装资源管理器，并在所有从机（商品硬件）上安装节点管理器。

HDFS需要以下过程

1. 的NameNode
2. 数据管理部
3. SecondaryName

NameNode和次要的NameNode被安装在两个单独的机器（制备级服务器）和数据管理部上所有奴隶机器（商品硬件）。

通常DataNode和NodeManager将一起安装在所有从节点上。

Answer 2

不确定，你正在尝试做什么。

由于hadoop 2.0纱线是hadoop的一个组成部分。 所以，如果你安装hadoop，纱线会自动安装。

当您使用提供的脚本启动hadoop时，它们将启动hadoop堆栈。 然后你可以使用提供的脚本来启动纱线。

然后你安装spark，并指出它使用hadoop安装和配置库。

没有必要手动安装纱线的细节。