2015-07-20 69 views
0

我试图使用带有EMR(Spark)集群的apache zeppelin。我获得了一些使用apache zeppelin + EMR集群开放防火墙的要求。在工作场所,有防火墙阻止的静态IP。如您所知, EMR群集应在每次使用aws cli命令创建时更改其IP和DNS名称。那么您是否知道如何使用固定IP将apache zeppelin服务器(EC2实例)与EMR集群连接? 在此先感谢。Apache Zeppelin + EMR(Spark)集群用于打开防火墙

回答

0

我完全不理解你的问题。让我试着回答这部分问题:“那么你知道如何使用固定IP连接apache zeppelin服务器(EC2实例)和EMR集群吗?”

这应该可以通过使用:http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-cli-commands.html#elastic-ip附加弹性ip与EMR集群的主。

您还可以尝试qubole的受管理群集并支持spark + zeppelin。 Qubole负责为您提供一个固定的终端来访问您的齐柏林笔记本电脑。

声明:我Qubole

工作
0

最后我成功了使用socat来解决这个问题或要求。

socat TCP-LISTEN:8080,fork TCP:$EMR_CLUSTER_NAME:8080 
socat TCP-LISTEN:8081,fork TCP:$EMR_CLUSTER_NAME:8081 

同时检查脚本(install-apache-zeppelin-on-amazon-emr.sh),我修改了一些代码和使用socat而不是使用ssh通道。