使用Python对pyspark数据框进行移调操作

Question

我是python和pyspark的新手，我已经使用熊猫df.T完成了移调操作。我发现，没有对数据帧pyspark没有直接操作（pyspark版本2.2.0 =和Python版本3.6.2 =）

我使用下面的代码

加载用于上述操作的CSV文件from pyspark.sql import SQLContext sql = SQLContext(spark_context) path = 'sample.csv' df = (sql.read.format("com.databricks.spark.csv").option("header","true").option("inferSchema", "true").load(path))

Answer 1

什么是您的数据模式？

如果它是某种稀疏矩阵，您可以使用常规RDD加载并使用地图+交换坐标。