如何在斯卡拉

Question

在列表中创建要素的组合我有一个字符串列表的RDD，如下所示：

(['a','b','c'],['1','2','3','4'],['e','f'],...) 

现在我想要得到的名单包括每innerlist所有成对组合，如下所示：

(('a','b'),('a','c'),('b','c'),('1','2'),('1','3'),('1','4'),('2','3'),'('2','4'),('3','4'),('e','f'),...) 

如何做到这一点？

Answer 1

您可以使用flatMap与List.combinations：

val rdd = sc.parallelize(Seq(List("a", "b", "c"), List("1", "2", "3", "4"), List("e", "f"))) 
// rdd: org.apache.spark.rdd.RDD[List[String]] = ParallelCollectionRDD[0] at parallelize at <console>:24 

rdd.flatMap(list => list.combinations(2)).collect() 
// res1: Array[List[String]] = Array(List(a, b), List(a, c), List(b, c), List(1, 2), List(1, 3), List(1, 4), List(2, 3), List(2, 4), List(3, 4), List(e, f))