如何从一行创建一个RDD

-1

我的问题很简单。我想将下面的行转换为RDD。如何从一行创建一个RDD

Row("val1","val2")

你有什么想法吗？感谢

来源

2017-07-18 a.moussa

你需要的输出为RDD [行]或RDD [字符串]？ – Psidom

要让行中的每个元素成为RDD中的记录，还是希望RDD [Row]只包含单个行对象？ – puhlen

我想要一行两列，这将是一行Rdd行 –

val abc = Row("val1","val2") 
val rdd = sc.parallelize(Seq(abc)) 
val rowRdd = rdd.map(row => Row(row.toSeq)) 
rowRdd: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]

来源

2017-07-18 22:43:42

sc.parallelize(List(Row("val1","val2")))

是罚款

来源

2018-01-22 08:56:48

您需要添加一些解释到您的解决方案，什么是'sc'，什么是'parallelize'？ – user7294900

如何从一行创建一个RDD

回答

相关问题