pyspark：PIP安装找不到一个版本

我试图安装使用pysparkpip install像下面。但我有以下错误。pyspark：PIP安装找不到一个版本

(python_virenv)edamame$ pip install pyspark 
Collecting pyspark 
    Could not find a version that satisfies the requirement pyspark (from versions:) 
No matching distribution found for pyspark

有没有人有什么想法？谢谢！

来源

2016-07-15 Edamame

pyspark甚至不存在的PyPI你可以从https://pypi.python.org/pypi?%3Aaction=search&term=pyspark&submit=search看，这就是为什么pip告诉你它找不到它。

来源

2016-07-16 05:24:55 edwinksl

pyspark是不是在PyPI中，所以你不能直接使用pip install安装它。

相反，你可以在这里下载星火的适当版本：http://spark.apache.org/downloads.html，你会得到一个压缩的TAR文件。然后将其解压缩，pyspark位于其python文件夹中。

要打开星火壳的Python版本，你可以进入你的星火目录，键入：

bin/pyspark

或

bin\pyspark

在Windows

。

来源

2016-07-16 05:49:32 Burun

PySpark可以通过以下方式安装。

下载火花来自：Spark Downloads

下载并解压缩文件。转至斌文件夹，并执行

./bin/pyspark

您可能要添加的bin文件夹在你的shell的$PATH变量为好。

或者，

您可以从CDH分布安装：

添加以下这里的步骤CDH键： http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_cdh5_install.html
安装的火花在这里以下步骤： http://www.cloudera.com/documentation/enterprise/5-4-x/topics/cdh_ig_spark_install.html#xd_583c10bfdbd326ba--6eed2fb8-14349d04bee--7ef8

来源

2016-07-16 05:54:01 srjit

谢谢！是否有可能将它添加到我的虚拟环境？ – Edamame

你应该可以。我不确定它是否会特别有用。你可以参考cloudera的链接：http://blog.cloudera.com/blog/2015/09/how-to-prepare-your-apache-hadoop-cluster-for-pyspark-jobs/ – srjit

从Spark 2.2开始，PySpark现在可以在PyPI中使用。

pip install pyspark

火花2.1，PySpark是一封来自PyPI，这是在考虑用于本ticket 2.2 PIP安装但尚未。要安装PySpark，现在只需要下载Spark 2.1+并运行setup.py：

cd spark-2.1/python/ 
pip install -e .

非常感谢@霍尔登！

来源

2016-12-31 15:12:30 ksindi

pyspark：PIP安装找不到一个版本

回答

相关问题