字符串上的过滤器火花DataFrame包含

Question

我正在使用Spark 1.3.0和Spark Avro 1.0.0。 我从the example on the repository page工作。这下面的代码工作以及

val df = sqlContext.read.avro("src/test/resources/episodes.avro") 
df.filter("doctor > 5").write.avro("/tmp/output") 

但是，如果我需要看看是否doctor字符串包含一个子呢？由于我们在字符串内写入我们的表达式。我该怎么做一个“包含”？

Answer 1

您可以使用contains（这可与任意顺序）：

df.filter($"foo".contains("bar")) 

like（SQL像SQL简单的正则表达式蒙山_匹配任意字符和%匹配任意顺序）：

df.filter($"foo".like("bar")) 

或rlike（像Java regular expressions）：

df.filter($"foo".rlike("bar")) 

根据您的要求。 LIKE和RLIKE也应该使用SQL表达式。