我想在我们的8个节点群集上设置Kafka和Spark与Mesos如下,但有启动/启动Mesos Salve使用Mesos主人zookeeper端点的问题。问题使用相同的动物园管理员卡夫卡和Mesos
1)安装并上3个节点(server00,SERVER01,Server02上)(设置动物园管理员通过$ KAFKA_HOME /配置/ zookeeper.properties)
2)安装所有8个节点上卡夫卡经纪人(和通过在其$ KAFKA_HOME /配置/ server.properties)设置以下属性它指向3名饲养员
zookeeper.connect=server00:2181,server01:2181,server02:2181
3)3没有安装Mesos主DES(server00,SERVER01,Server02上),并用下面的行更新的/ etc/mesos/ZK:
zk://server00:2181,server01:2181,server02:2181/mesos
4)所有8个节点上安装Mesos从站。
5)编辑/etc/mesos/zk文件在所有其他服务器上有以下行。
zk://server00:2181,server01:2181,server02:2181/mesos
6)如以下(确认所有Mesos主正在运行和可用通过启动http://server00:5050/#/,http://server01:5050/#/,http://server02:5050/#/
sudo /usr/sbin/mesos-master --cluster=server_mesos_cluster --log_dir=/var/log/mesos --work_dir=/var/lib/mesos
7)上的所有启动Mesos从所有3台主服务器上的开始Mesos主8台服务器。 在服务器上启动此示例00:
sudo /usr/sbin/mesos-slave --work_dir=/var/lib/mesos --master=zk://server00:2181,server01:2181,server02:2181/mesos --ip=9.1.69.150
但上面不启动slave/agent。
但是,下面的命令会让我觉得主人可能没有获得动物园管理员的注册。
sudo /usr/sbin/mesos-slave --work_dir=/var/lib/mesos --master=server00:5050 --ip=9.1.69.150
谁能棚任何光以 1)我的配置是否是不正确的或 2)如果非要为Mesos集群设置单独的饲养员? 3)如何验证Mesos主人是否正在使用zookeeper注册?
一旦这个设置工作,我打算在所有8个节点上运行Spark。
你是正确的。'/ etc/mesos/zk'和其他文件下的配置在我的情况下没有被读取(使用Red Hat Linux),并使用'--zk = zk:// server00:2181,server01:2181,server02启动Mesos Master :2181/mesos'选项修复了这个问题。谢谢!! – Deeps