我在Spark RDD中有一个数据，我想将它分成两部分，比如0.7。例如，如果RDD看起来是这样的：如何在火花中将rdd数据分成两部分？
[1,2,3,4,5,6,7,8,9,10]
我想把它分成rdd1：
[1,2,3,4,5,6,7]
和rdd2：
[8,9,10]
随着规模0.7。 rdd1和rdd2应该每次都是随机的。我想是这样的：
seed = random.randint(0,10000)
rdd1 = data.sample(False,scale,seed)
rdd2 = data.subtract(rdd1)
和它的作品，但有时当我的数据中包含dict我遇到了一些问题。例如用数据如下：
[{1:2},{3:1},{5:4,2;6}]
我得到
TypeError: unhashable type: 'dict'
RDDs两者
rdd = sc.parallelize(range(10))
test, train = rdd.randomSplit(weights=[0.3, 0.7], seed=1)
test.collect()
## [4, 7, 8]
train.collect()
## [0, 1, 2, 3, 5, 6, 9]
和DataFrames
df = rdd.map(lambda x: (x,)).toDF(["x"])
test, train = df.randomSplit(weights=[0.3, 0.7])
提供randomSplit方法，其可以在这里使用。
注：
randomSplit使用针对每个输出RDD单个filter表达。通常，从单个Spark转换中产生多个RDDs是不可能的。有关详细信息，请参阅https://stackoverflow.com/a/32971246/1560062。
您不能使用subtract与字典，因为它在内部表示它为cogorup，因此要求对象为hashable。又见A list as a key for PySpark's reduceByKey