1
我有一个15字段的rdd。为了做一些计算,我必须将它转换为熊猫数据框。将火花rdd转换为熊猫数据帧
我试着用df.toPandas()函数,它没有工作。我试着提取每个rdd,并将它与一个空格分开,并放入一个数据框中,但这也不起作用。
[u'2015-07-22T09:00:28.019143Z ssh 123.242.248.130:54635 10.0.6.158:80 0.000022 0.026109 0.00002 200 200 0 699 "GET https://google.coml HTTP/1.1" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.130 Safari/537.36" ECDE-PAM TLSv1.2',
u'2015-07-22T09:00:27.894580Z ssh 203.91.211.44:51402 10.0.4.150:80 0.000024 0.15334 0.000026 200 200 0 1497 "GET https://yahoo.com HTTP/1.1" "Mozilla/5.0 (Windows NT 6.1; rv:39.0) Gecko/20100101 Firefox/39.0" ECDL-RAT TLSv1.2']
是否有一些功能,我可以使用它?
在此先感谢!