启动pyspark IPython的笔记本电脑在EC2上

我刚刚升级到星火1.4 2.0和github.com/amplab/spark-ec2/tree/branch-2.0启动pyspark IPython的笔记本电脑在EC2上

下载EC2目录旋转起来一些群集我去我的EC2目录并运行这些命令：

./spark-ec2 -k <keypair> -i <key-file> -s <num-slaves> launch <cluster-name> 

./spark-ec2 -k <keypair> -i <key-file> login <cluster-name>

我有我的团了，我登录到主，但我不知道如何启动pyspark笔记本。随着星火1.4我会运行命令

IPYTHON_OPTS="notebook --ip=0.0.0.0" /root/spark/bin/pyspark --executor-memory 4G --driver-memory 4G &

，我有我的笔记本启动和运行良好，但与星火2.0没有斌/ pyspark目录。有人能帮忙吗？

来源

2016-12-28 jakko

据有关人士评论：

https://apache.googlesource.com/spark/+/master/bin/pyspark

在星火2.0，IPython的和IPYTHON_OPTS被删除，pyspark失败如果任一选项在用户的环境将推出。相反，用户应该设置PYSPARK_DRIVER_PYTHON = ipython使用IPython并设置 PYSPARK_DRIVER_PYTHON_OPTS在启动Python 驱动程序（例如PYSPARK_DRIVER_PYTHON_OPTS ='notebook'）时传递选项。这支持IPython和执行器Python可执行文件的完全自定义。

以下link将带你一步一步。随着升级到Spark 2.0，您还应该升级到Juypter笔记本（以前称为Ipython笔记本）。

来源

2016-12-29 16:54:59 user7351608

这是否意味着我必须将export PYSPARK_DRIVER_PYTHON = ipython export PYSPARK_DRIVER_PYTHON_OPTS =“notebook”添加到我的.bash_profile中？ – jakko

简短的回答是的，但请看我编辑的答案，带有一个链接，让你一步一步来。把你需要的放在其他地方。 – user7351608

启动pyspark IPython的笔记本电脑在EC2上

回答

相关问题