0
任何方式来实现sql功能,如sparksql中的存储过程或函数?
我知道hpl sql和协处理器在hbase中。但是想知道类似的东西是否可用于火花或不火花。SparkSql中的存储过程/函数
任何方式来实现sql功能,如sparksql中的存储过程或函数?
我知道hpl sql和协处理器在hbase中。但是想知道类似的东西是否可用于火花或不火花。SparkSql中的存储过程/函数
您可以考虑使用User Defined Function和内置功能
一个简单的例子
val dataset = Seq((0, "hello"), (1, "world")).toDF("id", "text")
val upper: String => String = _.toUpperCase
import org.apache.spark.sql.functions.udf
val upperUDF = udf(upper)
// Apply the UDF to change the source dataset
scala> dataset.withColumn("upper", upperUDF('text)).show
结果的
| id| text|upper|
+---+-----+-----+
| 0|hello|HELLO|
| 1|world|WORLD|