如何实施spark.ui.filter

Question

我在2个CentOS机器上设置了一个Spark集群。我想保护我的群集（主节点）的Web UI。我做了一个BasicAuthenticationFilter servlet。我无法理解：

1. 我该如何使用spark.ui.filter来保护我的Web UI。
2. 我应该在哪里放置servlet/jar文件。

请帮忙。

Answer 1

嗨将jar文件放在文件夹/opt/spark/conf/中的所有节点中。在终端中，输入以下命令：

• 导航到目录/usr/local/share/jupyter/kernels/pyspark/kernel.json
• 编辑文件kernel.json
• 添加以下参数来PYSPARK_SUBMIT_ARGS --jars /opt/spark/conf/filterauth.jar –conf spark.ui.filters=authenticate.MyFilter

这里，filterauth.jar是jar文件创建和authenticate.MyFilter代表<package name>.<class name>

希望这回答你的问题RY。 :)

Answer 2

我还需要处理这个安全问题，以防止未经授权的访问激发独立的用户界面。最后，我固定它在网上冲浪上之后，该过程是：使用标准的基本认证协议

1. 代码和编译Java滤波器，我refered此[博客]：http://lambda.fortytools.com/post/26977061125/servlet-filter-for-http-basic-auth
2. 上述过滤器类作为打包一个jar文件，把它放在$ spark_home /瓶/

3. 加入$ spark_home/conf目录/火花default.conf的配置行：

   • spark.ui.filters xxx.BasicAuthFilter＃满级名称
   个

   • spark.test.BasicAuthFilter.params USER = foo的，密码=凉，境界=一些

     的用户名和密码，需要提供访问火花UI，“境界”是微不足道不管你键入

4. 重启所有主从设备工艺和测试，以找出它的工作原理