对Spark数据框/ Hive结果集进行排序

Question

我试图从Hive表中检索列的列表并将结果存储在spark数据框中。

var my_column_list = hiveContext.sql(s""" SHOW COLUMNS IN $my_hive_table""") 

但我无法按字母顺序排序数据帧甚至显示列查询的结果。我尝试使用sort和orderBy（）。

如何按字母顺序排列结果？

更新：加入我的代码示例

import org.apache.spark.{ SparkConf, SparkContext } 
import org.apache.spark.sql.DataFrame 
import org.apache.spark.sql.hive.HiveContext 

val hiveContext = new HiveContext(sc) 
hiveContext.sql("USE my_test_db") 

var lv_column_list = hiveContext.sql(s""" SHOW COLUMNS IN MYTABLE""") 
//WARN LazyStruct: Extra bytes detected at the end of the row! Ignoring similar problems 

lv_column_list.show //Works fine 
lv_column_list.orderBy("result").show //Error arises 

Answer 1

而不是“SHOW列”，我用“DESC”和检索与“COL_NAME”列的列表。

var lv_column_list = hiveContext.sql(s""" DESC MYTABLE""") 
lv_column_list.select("col_name").orderBy("col_name") 

Answer 2

不知道你是如何使用排序或排序依据的方法，

尝试以下，

df.sort(asc("column_name"))  
df.orderBy(asc("column_name")) 

Answer 3

的SHOW COLUMNS查询会生成一个名为result的列的Dataframe。如果你为了通过这个专栏中，你得到你想要的东西：

val df = hiveContext.sql(s""" SHOW COLUMNS IN $my_hive_table """) 
df.orderBy("result").show