2017-09-26 28 views
-3

有没有可能绘制APACHE Dataframe?我把它转换成熊猫的数据帧,这花费了很多时间,而不是我的目标。 特别是,我们的目标是从Apache DataFrame中绘制一张地图,而无需转换为Pandas DataFrame。 随着阴谋我的意思是使用一个库,如matplotlib或plotly绘制图或类似的东西。 任何想法? 谢谢!绘制Apache DataFrame

回答

0

你的意思是绘制一个Spark Dataframe?

在这种情况下,你可以做这样的事情,有yourDF为您的数据框:

yourDF.show(100, truncate=false) 

这将显示在您登录您的数据帧结构和值(在这种情况下,前100行)相同你会在熊猫中找到的方式。使用truncate选项,您可以指定要显示整个数据帧而不是缩减版本。

编辑:为了直接从数据帧绘制,请检查plotly LIB,邻的

display(dataframe) 

功能,记录here

+0

当然这可能需要一些时间才能完成操作,因为show()也需要收集所有的分布式数据。 –

+0

我应该重新指定我想要的。我目前正在使用ploty或matplotlib绘制Spark DataFrame中的某些图表,但总是需要先转换为pandas数据框。是否有可能直接从Apache Spark DataFrame中执行此操作? – inneb

+0

好的!那么你需要的是Plotly。我编辑我的答案; ) –

相关问题