将两列传入keyBy（）Spark

Question

我是Spark和Scala的新手。我正在阅读spark中的.csv。我想在两列上应用keyBy（）。任何想法。

说柱_（0）和_（1）

Answer 1

我假设RDD到要应用keyBy是阵列的RDD。然后您可以简单地将keyBy方法与映射到前两列的函数进行比较：

val rdd=sc.parallelize(List(
      Array(1,2,3), 
      Array(1,2,4), 
      Array(2,3,1), 
      Array(2,3,2) 
     )) 
val keyedRdd=rdd.keyBy{a=>(a(0),a(1))} 
keyedRdd.take(4) 
//Array[((Int, Int), Array[Int])] = Array(
//   ((1,2),Array(1, 2, 3)), 
//   ((1,2),Array(1, 2, 4)), 
//   ((2,3),Array(2, 3, 1)), 
//   ((2,3),Array(2, 3, 2)) 
//)