2015-11-11 157 views
2

我在HDP 2.1群集上安装了spark 1.5.1进程。哪些使用hadoop 2.4.0,并且当驱动程序尝试写入给定的Hive表时,我有权限拒绝了问题。火花纱群集权限问题

submiting作业的用户是gvp_service,作业期间,它的工人能够与gvp_service写权限,但我收到以下异常metastore交互时:

产生的原因:org.apache.hadoop .ipc.RemoteException(org.apache.hadoop.security.AccessControlException):Permission denied:user = yarn,access = WRITE,inode =“/ apps/hive/warehouse/gbic_video_video.db/gbic_video_video_raw_users/global_op_id = 1000/service_type = 1 /天= 2015" 年9月15日:gvp_service:HDFS的。drwxr-XR-X 在org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkFsPermission(FSPermissionChecker.java:265)

为什么使用纱线用户来完成这项任务?是否使用Hadoop客户端2.4.0?

回答

0

你可以检查作业是作为哪个用户提交的吗?与蜂巢互动,你应该有“蜂房的site.xml”在$ SPARK_INSTALL_DIR下面内容

<configuration> 
<property> 
    <name>hive.metastore.uris</name> 
    <!-- Ensure that the following statement points to the Hive Metastore URI in your cluster --> 
    <value>thrift://<METASTORE IP>:9083</value> 
    <description>URI for client to contact metastore server</description> 
</property> 
</configuration> 

希望/ conf目录这有助于