2016-09-19 51 views
0

我想在我们的8个节点群集上设置Kafka和Spark与Mesos如下,但有启动/启动Mesos Salve使用Mesos主人zookeeper端点的问题。问题使用相同的动物园管理员卡夫卡和Mesos

1)安装并上3个节点(server00,SERVER01,Server02上)(设置动物园管理员通过$ KAFKA_HOME /配置/ zookeeper.properties

2)安装所有8个节点上卡夫卡经纪人(和通过在其$ KAFKA_HOME /配置/ server.properties)设置以下属性它指向3名饲养员

zookeeper.connect=server00:2181,server01:2181,server02:2181 

3)3没有安装Mesos主DES(server00,SERVER01,Server02上),并用下面的行更新的/ etc/mesos/ZK

zk://server00:2181,server01:2181,server02:2181/mesos 

4)所有8个节点上安装Mesos从站。

5)编辑/etc/mesos/zk文件在所有其他服务器上有以下行。

zk://server00:2181,server01:2181,server02:2181/mesos 

6)如以下(确认所有Mesos主正在运行和可用通过启动http://server00:5050/#/http://server01:5050/#/http://server02:5050/#/

sudo /usr/sbin/mesos-master --cluster=server_mesos_cluster --log_dir=/var/log/mesos --work_dir=/var/lib/mesos 

7)上的所有启动Mesos从所有3台主服务器上的开始Mesos主8台服务器。 在服务器上启动此示例00:

sudo /usr/sbin/mesos-slave --work_dir=/var/lib/mesos --master=zk://server00:2181,server01:2181,server02:2181/mesos --ip=9.1.69.150 但上面不启动slave/agent。

但是,下面的命令会让我觉得主人可能没有获得动物园管理员的注册。

sudo /usr/sbin/mesos-slave --work_dir=/var/lib/mesos --master=server00:5050 --ip=9.1.69.150 

谁能棚任何光以 1)我的配置是否是不正确的或 2)如果非要为Mesos集群设置单独的饲养员? 3)如何验证Mesos主人是否正在使用zookeeper注册?

一旦这个设置工作,我打算在所有8个节点上运行Spark。

回答

2

在Ubuntu上,至少/etc/mesos/zk/etc/mesos下的其他配置文件只能被/usr/bin/mesos-init-wrapper读取。因此你的主人没有看到你的zk配置。

你要么需要使用init脚本(service mesos-master start)启动它,手动运行的包装,或使用-zk选项mesos-master

sudo /usr/sbin/mesos-master --cluster=server_mesos_cluster --log_dir=/var/log/mesos --work_dir=/var/lib/mesos --zk=zk://server00:2181,server01:2181,server02:2181/mesos 

`

+0

你是正确的。'/ etc/mesos/zk'和其他文件下的配置在我的情况下没有被读取(使用Red Hat Linux),并使用'--zk = zk:// server00:2181,server01:2181,server02启动Mesos Master :2181/mesos'选项修复了这个问题。谢谢!! – Deeps

相关问题