在Scala中过滤空值

Question

我有一个在某些列中有空值和空值的配置单元表。我的表中的空值表示是\N。 我想在Scala中选择列a不为空的行。我试过用

a。 if (a.equals("\\N"))

b。 if (!Option(a).getOrElse("").isEmpty)

c。使用length(trim(a))

这些选项都不适用于我的代码，过滤器不起作用或所有行都被排除。

有没有人有任何建议？

Answer 1

根据https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Transform，Hive的\ N是一个字符串，即“\ N”，但是在Java中，因此在Scala中表示为“\ N”，可以使用{scala.Predef.String = java来匹配。 lang.String} .matches（“\\ N”），如下测试：

val s = "\\N" 
println(s.matches("\\\\N")) // prints true 

如果不为你工作，请提供有关如何访问的蜂巢表和蜂巢的版本，所以我可以尝试复制错误。