如何在火花scala中的数组中添加空值

Question

val data = Array(-999.9,-0.5, -0.3, 0.0, 0.2, 999.9) 
val dataFrame = sqlContext.createDataFrame(data.map(Tuple1.apply)).toDF("features") 

我想在上面的数组中引入null条目。我在下面尝试，但它没有奏效。

val data = Array(-999.9,-0.5, -0.3, 0.0, 0.2, 999.9, null) 

Answer 1

你需要让Option类型的阵列和null将无：

val data = Array(Some(-999.9),Some(-0.5), Some(-0.3), Some(0.0), Some(0.2), Some(999.9),None) 
// data: Array[Option[Double]] = Array(Some(-999.9), Some(-0.5), Some(-0.3), Some(0.0), Some(0.2), Some(999.9), None) 

val dataFrame = spark.createDataFrame(data.map(Tuple1.apply)).toDF("features") 
// dataFrame: org.apache.spark.sql.DataFrame = [features: double] 

dataFrame.show  
+--------+ 
|features| 
+--------+ 
| -999.9| 
| -0.5| 
| -0.3| 
|  0.0| 
|  0.2| 
| 999.9| 
| null| 
+--------+