根据以前的问题:1,2。假设我有以下数据框:PySpark将新列添加到数据框与新列表
df = spark.createDataFrame(
[(1, "a", 23.0), (3, "B", -23.0)],
("x1", "x2", "x3"))
我要添加新列x4
,但我有在Python列表值,而不是添加到新列如x4_ls = [35.0, 32.0]
。有没有一种最佳方式将新列添加到Spark数据框? (注我用星火2.1)
输出应该是这样的:
## +---+---+-----+----+
## | x1| x2| x3| x4|
## +---+---+-----+----+
## | 1| a| 23.0|35.0|
## | 3| B|-23.0|32.0|
## +---+---+-----+----+
我还可以改变我列表数据框df_x4 = spark.createDataFrame([Row(**{'x4': x}) for x in x4_ls])
(但我不是如何连接在一起的数据帧)
好像现在没有简单的方法来连接数据框或将值添加到数据框。 – titipata