转换的RDD了DF coulmn

Question

的我从DF列

##converting a column into an rdd 
rdd = eDF_review_split.select('splReview').rdd.map(list) 
##print rdd.take(10) 

我得到的结果是由一个RDD如下

[[u'Installing'], [u'the'], [u'game'], [u'was'], [u'a'], [u'struggle'], [u'(because'], [u'of'], [u'games'], [u'for']] 

这是有意义的，因为这些话是从不同的行。

如何将其制作为如下所示的格式？

[u'Installing', u'the', u'game', u'was', u'a', u'struggle', u'(because', u'of', u'games', u'for'] 

我需要这样做，所以我可以做一个适当的字数。

Answer 1

遍历列表的列表，并为主列表中的每个列表追加值到另一个列表。

一个衬里：

list_main_separated = [item for insideList in rdd for item in insideList] 

这意味着：

list_main_separated = [] 

for insideList in rdd: 
    for item in insideList : 
     list_main_separated .append(item) 

Answer 2

flatMap：

flatMap(f, preservesPartitioning=False)

返回一个新的RDD通过首先施加的功能中的所有元素这R DD，然后展平结果。

与identity function：

df_review_split.select('splReview').rdd.flatMap(lambda x: x) 

我需要做的，所以我可以做一个适当的字数。

eDF_review_split.groupBy('splReview').count()