火花自定义预处理估算器

Question

我想为火花的Pipelines写一个自定义Estimator。它应该执行数据清理任务。这意味着一些行将被删除，一些列被删除，一些列被添加，一些值在现有的列中被替换。 IT还应该将某些数字列的平均值或最小值存储为NaN替换值。

然而，

override def transformSchema(schema: StructType): StructType = { 
    schema.add(StructField("foo", IntegerType)) 
} 

仅支持加入域？ 我很好奇我该如何处理这个问题。

Answer 1

你是正确的，只有添加字段被StructField api支持。但是，这并不意味着你也不能删除字段！

StructType有一个值成员fields，它给你一个Array[StructField]。你可以.filter()这个数组，但你认为合适的（通过name,dataType，或更复杂的东西），只保留你想要的列。

一旦你完成了你的过滤，你有两个选择：

1. 添加StructField每个新列过滤fields阵列，构建从这个
2. 一个StructType从fields构建StructType数组并使用.add(...)添加新列。