RDD collect（）失败

Question

我觉得这个问题可能会使其他人受益。

如果我运行

val rdd1 = sc.parallelize(List("a", "b", "c", "d", "e")) 
val rdd1a = rdd1.map(x => (x, 110, 110 - x.toByte)) 

rdd1: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[55] at parallelize at <console>:44 
rdd1a: org.apache.spark.rdd.RDD[(String, Int, Int)] = MapPartitionsRDD[56] at map at <console>:46 

它的工作原理。

只要我加收

val rdd1 = sc.parallelize(List("a", "b", "c", "d", "e")) 
val rdd1a = rdd1.map(x => (x, 110, 110 - x.toByte)).collect() 

失败。

逻辑排序真的让我失望。谁可以澄清？这是RDD吗？

Answer 1

的错误是在这里

val rdd1a = rdd1.map(x => (x, 110, 110 - x.toByte)) 

由于x是string和你正在试图将其更改为Byte

你应该做的是

val rdd1a = rdd1.map(x => (x, 110, 110 - x.toCharArray()(0).toByte)) 

这并没有在这里失败

val rdd1a = rdd1.map(x => (x, 110, 110 - x.toByte)) 

因为这是一个懒惰的评估，它不被执行，collect是一个动作。执行操作后，代码也会执行。

希望这有助于