0
我已经使用ambari在spark-env.sh中设置了PYSPARK_PYTHON = python3，并且当我在命令行中尝试'pyspark'时，它使用python 3.4.3 。但是，当我使用yarn cluster模式提交作业时，它使用python 2.7.9运行。我如何使它使用python3？Pyspark在纱线集群模式下不使用python3，即使使用PYSPARK_PYTHON = python3
A
回答
0
你需要给像python3的完整路径：
subprocess.call(['export PYSPARK_PYTHON=/usr/local/bin/python2.7'],shell=True)
相关问题
- 1. 使用纱线集群
- 2. 使用virtualenv以纱线/火花集群模式运行python
- 3. Spark Pi集群模式下使用纱线的示例：丢失关联
- 4. 使用python3 requests.Session（）
- 5. 使用Python3 GExiv2
- 6. 在vim_configurable.customize中使用python3覆盖python3
- 7. 即使安装纱线也找不到模块'纱线'
- 8. 故障使用python3
- 9. 无法使用Python3
- 10. 如何使用python3
- 11. 对Python3使用urllib2
- 12. 在python3下使用pytables失败
- 13. 如何使nosetests使用python3
- 14. pygame的使用Python3在Mac
- 15. ploblem使用CSV在python3
- 16. 在Python3中使用re2
- 17. 如何使用* ARGS在Python3
- 18. 火花提交--proxy用户不纱线集群模式下工作
- 19. 在纱线集群上对管道使用addFile
- 20. 纱线和集群模式下的打印火花命令
- 21. 在Spark 2.1.0上使用python3在齐柏林飞艇上使用pyspark
- 22. 如何在python3中使用re模块替换模式
- 23. Python3 - tkinter导入和使用模块
- 24. 如何使用格式化的Python3
- 25. 创建和使用python3
- 26. Scrapy使用python3目录（Ubuntu）
- 27. python3正确的argv使用
- 28. Python3.x - 使用字典
- 29. Python3使用格莱德
- 30. python3默认编码使用
我已经设置spark-env.sh与“出口PYSPARK_PYTHON =的/ usr/bin中/ python3.4 出口PYSPARK_DRIVER_PYTHON =的/ usr/bin中/python3.4“，但它仍然是一样的。使用python2 – mankand007