我试图使用带有EMR(Spark)集群的apache zeppelin。我获得了一些使用apache zeppelin + EMR集群开放防火墙的要求。在工作场所,有防火墙阻止的静态IP。如您所知, EMR群集应在每次使用aws cli命令创建时更改其IP和DNS名称。那么您是否知道如何使用固定IP将apache zeppelin服务器(EC2实例)与EMR集群连接? 在此先感谢。Apache Zeppelin + EMR(Spark)集群用于打开防火墙
0
A
回答
0
我完全不理解你的问题。让我试着回答这部分问题:“那么你知道如何使用固定IP连接apache zeppelin服务器(EC2实例)和EMR集群吗?”
这应该可以通过使用:http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-cli-commands.html#elastic-ip附加弹性ip与EMR集群的主。
您还可以尝试qubole的受管理群集并支持spark + zeppelin。 Qubole负责为您提供一个固定的终端来访问您的齐柏林笔记本电脑。
声明:我Qubole
工作
0
最后我成功了使用socat来解决这个问题或要求。
socat TCP-LISTEN:8080,fork TCP:$EMR_CLUSTER_NAME:8080
socat TCP-LISTEN:8081,fork TCP:$EMR_CLUSTER_NAME:8081
同时检查脚本(install-apache-zeppelin-on-amazon-emr.sh),我修改了一些代码和使用socat而不是使用ssh通道。
相关问题
- 1. wso2集群防火墙要求
- 2. 如何在现有Apache Spark独立群集上安装Apache Zeppelin
- 3. 引导Amazon EMR集群的spark-avro jar
- 4. apache spark集群
- 5. 关于EMR登录错误的Apache Zeppelin
- 6. 升级EMR集群?
- 7. 在启动集群时在EMR上配置Zeppelin的Spark解释器
- 8. 为Windows服务打开防火墙
- 9. 在EMR集群中针对apache spark任务自定义log4j
- 10. 如何使用EMR使从属节点适用于Spark群集?
- 11. EMR群集上没有安装Spark
- 12. Amazon EMR集群上的spark-csv错误
- 13. Apache Zeppelin执行者standalong群集
- 14. 集群通信和谷歌集装箱防火墙引擎
- 15. 在防火墙后向Apache-Spark提交作业
- 16. 带有火花的AWS DataPipeline EMR集群
- 17. 启动Apache Spark群集
- 18. EMR Spark集群模式配置单元问题
- 19. 如何在AWS EMR上启用SSO登录到Apache Zeppelin EMR
- 20. 如何让Zeppelin在EMR集群上干净地重新启动?
- 21. 监控AWS EMR中的火花集群,无火花UI
- 22. 从EMR集群主节点使用spark-submission外部
- 23. 打开防火墙弹出来解锁C#应用程序
- 24. EMR Zeppelin消除DepInterpreter
- 25. 禁用使用防火墙
- 26. error:keepererrorcode = connectionloss for/hbase - Apache Zeppelin 0.8.0
- 27. Apache Spark独立群集调整参数
- 28. Kafka和apache Spark串流集群配置
- 29. Apache Spark多节点群集 - java.io.FileNotFoundException
- 30. 无法启动apache spark独立群集