Apache spark - 如果您错误地拼写属性会发生什么

Question

我正在修改Apache spark中的默认属性。我在AWS上使用EMR旋转集群。但是，我正在设置属性，并且不确定如何检查我的新配置是否替换默认配置。

作为一个例子，我想修改Spark中的默认序列化。因此，我在创建群集时提供以下配置。

“分类”： “火花默认”， “属性”：{
“spark.serializer”： “org.apache.spark.serializer：KryoSerializer”

当我然后检查火花属性通过Spark UK在港口：4040或通过YARN方法，我看到那里的财产被设置。不过，目前还不清楚Spark是否使用这个属性。有没有办法检查？

我问这是因为我曾经拼错“spark.serializer”，但仍然看到了属性集。我希望看到一个错误，告诉我一个未知的属性正试图设置。

Answer 1

由于您已经测试过您是否拼错了属性名称，因此它已被接受但未被使用。由于可能的属性列表已打开，用户可以设置其自己的属性，并且可能未使用的属性上的错误不是一个选项。