Apache spark：我们如何将RDD [v]分成Map [k，RDD [v]]？

Question

groupByKey给了我RDD [键，值]我找不到任何方法将其转换为Map [key，RDD [values]]。 谢谢。

SV

Answer 1

AFAIK没有星火原始的，它会让你通过这样的关键拆分RDD。我们正在使用过滤来实现类似的结果。性能方面，它必须比实际的groupByKey轻很多，因为过滤器不需要洗牌。

val keys = rdd.keys.collect 
val dataByKey = keys.map(key => (key, rdd.filter(_._1 == key)).toMap 

请注意，密钥必须适合驱动程序的内存才能正常工作。