2015-02-06 62 views
1

我想在HDP 2.2中使用Ipython和Spark,但似乎ipython仅支持从python 2.7。 我已经安装了Spark并进行了很好的测试,但是在使用yum命令安装ipython之后,python版本出现问题。如何使用Spark和Python更新HDP 2.2中的python 2.7

[[email protected] spark12]# ipython 
Python 2.6.6 (r266:84292, Jan 22 2014, 09:42:36) 
Type "copyright", "credits" or "license" for more information. 

IPython 0.13.2 -- An enhanced Interactive Python. 
?   -> Introduction and overview of IPython's features. 
%quickref -> Quick reference. 
help  -> Python's own help system. 
object? -> Details about 'object', use 'object??' for extra details. 

IPython的单独运行,但是当我试图用pyspark使用它:

[[email protected] spark12]# IPYTHON=1 ./bin/pyspark 
IPython requires Python 2.7+; please install python2.7 or set PYSPARK_PYTHON 

我想知道如何更新蟒蛇2.6〜2.7。看来系统阻止我卸载python 2.6。我的感觉是,Python与hadoop系统集成在一起,很难单独更新。

回答

3

有点迟,我知道,但我有一个类似的问题,使用CentOS。

我可以通过下载一个Python 2.7版本的蟒蛇分布

wget http://repo.continuum.io/archive/Anaconda2-2.5.0-Linux-x86_64.sh

比较容易地解决它在已下载

bash Anaconda2-2.5.0-Linux-x86_64.sh

,并按照指示 - 选择安装anaconda并将此位置添加到路径的位置。

一旦完成,类型

source ~/.bashrc

然后,您应该能够与Pyspark

[[email protected] ~]$ IPYTHON_OPTS="notebook" $SPARK_HOME/bin/pyspark [I 09:43:06.241 NotebookApp] Serving notebooks from local directory: /home/user [I 09:43:06.241 NotebookApp] 0 active kernels [I 09:43:06.241 NotebookApp] The Jupyter Notebook is running at: http://localhost:8888/

运行的IPython
3
  1. Python未与Hadoop系统集成。
  2. Python 2.6.6是Centos 6.5/RHEL 6的默认版本。
  3. 在任何情况下,您都不应尝试卸载/更新默认版本,因为它具有系统依赖关系。
  4. 你可以做的是install a newer版本的python作为现有的替代版本。 并使用新版本启动IPython。