星火斯卡拉计数在图例

Question

目前字符串数组的发生，我有两个字段一个数据帧，名

id1,    id2 
Seq[String]  Map[String,(String,Long,Long)] 

我想创建一个名字率，这是另一列id1中id数量的百分比作为地图的关键字出现

看来我无法在udf中安装for循环，想知道我应该怎么做？

Answer 1

使用Seq.count和Map.isDefinedAt检查现有的地图键的数量，然后简单地用udf把它包：

val df = Seq((Seq("a", "b", "c"), Map("a" -> ("x", 1L, 2L), "x" -> ("y", 2L,2L)))).toDF("id1", "id2") 

type CustMap = Map[String, (String, Long, Long)] 

def percent_in = udf(
    (id1: Seq[String], id2: CustMap) => id1.count(id2.isDefinedAt)/id1.length.toDouble 
) 

df.withColumn("rate", percent_in($"id1", $"id2")).show 
+---------+--------------------+------------------+ 
|  id1|     id2|    rate| 
+---------+--------------------+------------------+ 
|[a, b, c]|Map(a -> [x,1,2],...|0.3333333333333333| 
+---------+--------------------+------------------+