目前我火花控制台打印这样的,这是不是很易读:如何让Spark输出在单独的新行上打印?
我希望它打印新的一行中StructField项,使之更易于阅读。我该怎么办?谢谢。
更新: 我实际上是按照这个教程(http://www.nodalpoint.com/spark-data-frames-from-csv-files-handling-headers-column-types/),作者能够逐行打印没有pprint。我想知道他/她是如何做到的。
目前我火花控制台打印这样的,这是不是很易读:如何让Spark输出在单独的新行上打印?
我希望它打印新的一行中StructField项,使之更易于阅读。我该怎么办?谢谢。
更新: 我实际上是按照这个教程(http://www.nodalpoint.com/spark-data-frames-from-csv-files-handling-headers-column-types/),作者能够逐行打印没有pprint。我想知道他/她是如何做到的。
您可以随时使用pprint
这样的:
import pprint
pprint(fields)
,但如果你想打印模式,最好是使用DataFrame.printSchema
。
我通常使用:
fields.foreach(println)
它也可以当您从RDD或数据框检索数据:
myDf.collect().foreach(println)
谢谢,这是一个不错的解决方法。我实际上是按照这个教程(http://www.nodalpoint.com/spark-data-frames-from-csv-files-handling-headers-column-types/),作者可以逐行打印pprint。我想知道他/她是如何做到的。 –
作者可能使用[IPython](http://ipython.org/) – karlson