0
我正在尝试在注册它之后调用使用callUDF的udf。但是,函数validateNumber()没有被调用。无法使用callUDF调用UDF() - Spark Java
代码如下所示:
public Dataset<Row> sampleCallUdf(Dataset<Row> dataset) {
UDF2<Long, Long, String> validateNumber = (UDF2<Long, Long, String>) SampleClass::validateNumber;
UDFRegistration udfRegister = CONFIG.getSparkSession().udf();
udfRegister.register("validateNumber", validateNumber, DataTypes.StringType);
return dataset.withColumn("rejection_reason",
coalesce(
callUDF("validateNumber", column("cookie"), column("session"))));
}
public static String validateNumber(Long cookie, Long session) {
System.out.println("Into validateNumber function");
if(cookie != 0){
return "correct";
}else{
return "incorrect";
}
}
输入我想的是:
Dataset<Row> input = spark().createDataFrame(Arrays.asList(
RowFactory.create("28/05/2017 00:12:34", 0L, -2864001245604480000L, "abc" ,"90.202.190.106", 123, "abc", "xyz", "mno"),
RowFactory.create("28/05/2017 00:12:34", 2345678L, 2864001245604480000L, "abc" ,"90.202.190.106", 123, "abc", "xyz", "mno")), TEMP_TABLE);
的问题是,它甚至没有打印在validateNumber()函数系统输出语句。
对我来说工作很好。你可以检查数据集中的值吗? – abaghel
@abaghel - 它是否进入validateNumber()? – anukuls
或者,如果您可以让我知道您使用了什么输入。 – anukuls