将RDD [Long，String，Long]转换为sql.DataFrame

Question

我有RDD [Long，String，Long]，我想将其转换为sql.DataFrame以便对数据执行spark sql。

任何见解？

Answer 1

假设你已经RDD喜欢：

val rdd = Seq((1,"abc",200),(2,"abc",200)) 

toDF可以用来RDD转换为DataFrame：

val rdd = Seq((1,"abc",200),(2,"abc",200)).toDF 

注意 - 如果你是不是在火花外壳和写作类/对象，您需要在转换之前包括下面的行。

import spark.implicits._ 

这里spark是SparkSession的一个实例。 希望这有助于。