读取Pyspark中的属性文件

Question

我想在我的spark 1.6.0应用程序中读取.ini文件（这是我的配置/属性文件）。为此，我使用ConfigParser来读取属性文件。

import ConfigParser 
import os 
config = ConfigParser.ConfigParser() 
config.read(os.path.join(os.path.dirname(__file__), 'config.ini')) 

print 'config sections : ', config.sections() 

结果返回空列表。 我尝试在客户端和集群模式下提交作业，这两种方式都无法运行作业。 如果我在阅读文件时犯了错误，请告诉我。

Answer 1

可以读取配置文件。你只需要要么打包你的代码的广告鸡蛋或期间通过配置文件火花像提交：

spark-submit --master yarn --deploy-mode cluster --py-files conf/config.ini my_pyspark_script.py 

或者如果鸡蛋文件上运行（它将包含你的Python模块和的config.ini）

spark-submit --master yarn --deploy-mode cluster files --py-files my.egg my_pyspark_script.py 
configFile = resource_filename(Requirement.parse("myapp"), "conf/config.ini") 
config = ConfigParser.ConfigParser() 
config.read(configFile)