Python3.4：PySpark/SparklingPandas/Spark

Question

我目前有一个熊猫DataFrame，但在听说火花技术时，我想与pyspark或sparklingpandas一起工作。我不确定要下载哪个python spark版本以用于python 3.4，也不知道如何在Ubuntu 15.04上安装它。

Answer 1

你不需要，只需下载火花预置的版本 https://spark.apache.org/downloads.html

一旦你下载的zip，解开它，只是斌/ pyspark，它会打开 交互式shell为您与 -

玩

有关基本的详细信息 - https://spark.apache.org/screencasts/1-first-steps-with-spark.html

对于基本的操作，即使你D下载hadoop预编译版本，你不需要，但进一步的操作将会。 可以一试使用maven

去上面的链接建设的火花，请选择以下设置并单击红色显示下载标记链接

阿帕奇星火1.4支持Python 3 http://spark.apache.org/releases/spark-release-1-4-0.html

https://issues.apache.org/jira/browse/SPARK-4897