蜂巢执行引擎 - 星火 - 无法创建火花客户

当我发出的HIVE选择查询正在以下错误蜂巢执行引擎 - 星火 - 无法创建火花客户

FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create spark client.

我也跟着上的内存配置，但没有几个网站确实帮助。我在我的环境中的设置如下。有人可以请帮助。

yarn-site.xml 
     yarn.nodemanager.resource.memory-mb - 4096 
     yarn.nodemanager.resource.cpu-vcores - 2 
     yarn.scheduler.minimum-allocation-mb - 128 
     yarn.scheduler.maximum-allocation-mb - 1024 

mapred-site.xml 
     mapreduce.framework.name  - yarn 
     mapreduce.map.memory.mb   - 4096 
     mapreduce.reduce.memory.mb  - 8192 
     mapreduce.map.java.opts   - -Xmx3072m 
     mapreduce.reduce.java.opts  - -Xmx6144m 

hive-site.xml 

     hive.execution.engine   - spark 
     spark.home      - /.../.../binary/spark-1.6.1-bin-hadoop2.6 
     spark.master     - yarn-client 
     spark.eventLog.enabled   - true 
     spark.eventLog.dir    - /.../.../binary/spark-1.6.1-bin-hadoop2.6/logs 
     spark.executor.memory   - 512m 
     spark.executor.cores   - 2 

spark-env.sh 
     export SPARK_WORKER_CORES=4 
     export SPARK_WORKER_MEMORY=16384M 
     export SPARK_EXECUTOR_CORES=1 
     export SPARK_EXECUTOR_MEMORY=8192M

来源

2017-03-02 Balaji Krishnan

只需添加。我们有一台64GB的Linux机器。请帮助 –

可以在蜂巢CLI中使用蜂巢-e，在控制台

hive --hiveconf hive.root.logger=DEBUG,console -e "select count(1) from tableA;"

我解决变化问题上的HDFS /用户目录权限观看日志。

来源

2017-05-05 07:12:04 TOGON

嘿，你有什么权限和HDFS上的哪个特定文件夹。是/ user/hive吗？ – Nandakishore

蜂巢执行引擎 - 星火 - 无法创建火花客户

回答

相关问题