与Jupyter

2017-04-04 33 views 1 likes

Pyspark整合

我已经在我的机器上安装蟒蛇（Python的2.7版本），并通过该I”我连接到jupyter笔记本，但无法运行“与“PYSPARK_DRIVER_PYTHON = jupyter”和PYSPARK_DRIVER_PYTHON_OPTS =“记事本”开始jupyter笔记本打印“命令也。当我运行命令时，它将进入下一行但不显示输出，并且打印颜色不会突出显示。与Jupyter

我已经安装了pyspark，并在Windows机器（独立模式）的命令提示符下运行，其工作正常.....但我需要在jupyter笔记本（windows）中运行。有谁能够帮助我？？

来源

2017-04-04 vamsi krishna

2更多的黄金您是否遇到了错误？你能在笔记本上创建一个SparkContext吗？ –

SparkContext是否关闭？ –

完全没有错误，只是不显示输出，仅仅是在运行时它会进入下一行。 –

回答

这就是你需要做的所有事情，当你已经有了pyspark外壳正如你刚才提到的那样设置了Pupper和Windows之后，

添加两个新的环境变量，设置
- PYSPARK_DRIVER_PYTHON从CMD提示jupyter
- PYSPARK_DRIVER_PYTHON_OPTS笔记本
运行pyspark，而不是 'jupyter notebook'

这应该可以解决问题。

来源

2017-04-04 17:22:06

对于最新的设置，查看他们的官方jupyter码头回购。

这是Jupyter 4.x的星火2.1.0，Hadoop的2.7

docker run -it --rm -p 8888:8888 jupyter/pyspark-notebook

Jupyter Notebook Python, Spark, Mesos Stack

作为旁注，

1 jupyter使用的配置文件，而，IPython中使用的配置文件。我相信如果你想在本地运行火花独立。看看Dockerfile并找出它的魔力。在https://github.com/jupyter/docker-stacks

来源

2017-04-05 01:51:40 CodeFarmer

与Jupyter

回答

相关问题