在虚拟机上设置火花集群

Question

我安装了2个虚拟机并启用了端口转发功能，因此我可以从主机到访客机器进行SSH。我开始在主机上启动独立主机，我的问题是如何设置2个虚拟机，以便我可以将它们用作独立工作人员？ （FYI：VM的网络适配器连接到NAT）

Answer 1

我的解决办法：

工作器节点上（VM机）

• 使用两个网络适配器：NAT（互联网） ，仅限主机（访问 资源）。 请参阅how to setup host-only on vm

• 使用与主机相同的用户设置vm机器。

在主节点（主机）

• 添加此项，SPARK_MASTER_HOST = {IP地址}在 CONF/spark-env.sh结合火花主到主机的IP地址。
• 添加工人节点的IP地址（VM机）增加到conf /奴隶

• 配置法师passwordlessly ssh进入工人：

  ssh-keygen 
  .ssh/ssh-copy-id -i ./id_rsa.pub {Worker IP Address} 
  

• 开始火花集群：./sbin/start-all.sh