在火花集群模式下运行齐柏林飞艇

我正在使用本教程spark cluster on yarn mode in docker container在飞行模式下的火花集群中启动zeppelin。然而我卡在第4步。我找不到在我的码头集装箱conf/zeppelin-env.sh进行进一步的配置。我试图把这些配置文件夹的齐柏林，但现在成功了。除此之外，齐柏林笔记本电脑也未在localhost：9001上运行。在火花集群模式下运行齐柏林飞艇

我对分布式系统非常陌生，如果有人能够帮助我在纱线模式下启动Spark Spark上的zeppelin，那将是非常棒的。

这是我的docker-compose文件，用于启用zeppelin与spark集群通话。

version: '2' 
services: 
sparkmaster: 
    build: . 
    container_name: sparkmaster 
ports: 
    - "8080:8080" 
    - "7077:7077" 
    - "8888:8888" 
    - "8081:8081" 
    - "8082:8082" 
    - "5050:5050" 
    - "5051:5051" 
    - "4040:4040" 
zeppelin: 
    image: dylanmei/zeppelin 
    container_name: zeppelin-notebook 
env_file: 
    - ./hadoop.env 
environment: 
    ZEPPELIN_PORT: 9001 
    CORE_CONF_fs_defaultFS: "hdfs://namenode:8020" 
    HADOOP_CONF_DIR_fs_defaultFS: "hdfs://namenode:8020" 
    SPARK_MASTER: "spark://spark-master:7077" 
    MASTER: "yarn-client" 
    SPARK_HOME: spark-master 
    ZEPPELIN_JAVA_OPTS: >- 
    -Dspark.driver.memory=1g 
    -Dspark.executor.memory=2g 
ports: 
    - 9001:9001 
volumes: 
    - ./data:/usr/zeppelin/data 
    - ./notebooks:/usr/zeppelin/notebook

来源

2017-09-11 Rohit Barnwal

这是您用来启动独立Spark集群的dockerfile。

https://github.com/apache/zeppelin/blob/master/scripts/docker/spark-cluster-managers/spark_standalone/Dockerfile

但没有齐柏林实例的容器内，所以你必须使用齐柏林在本地机器上。

请download并使用它。

来源

2017-09-11 16:28:24 1ambda

我已经使用这个dockerfile https://github.com/apache/zeppelin/blob/master/scripts/docker/spark-cluster-managers/spark_yarn_cluster/Dockerfile 虽然这还没有飞艇，所以我推出了另一个带有zeppelin码头图像的容器，但无法使zeppelin与spark cluster交谈。 –

您必须将它们合并为一个网络，否则无法互相连接。例如，你可以让新的docker-compose文件包含thoese dockerfiles。 – 1ambda

做完了，我已经添加了我的docker-compose文件。上面提到的dockerfile和docker-compose位于同一个文件夹中。但是这启动了一个容器中只有一个齐柏林的容器。 –

在火花集群模式下运行齐柏林飞艇

回答

相关问题