猪脚本在心脏永远挂击败

我已经安装在一台机器的Cloudera 5的所有组件：名称节点，数据节点，色调，猪，Oozie的，纱，HBase的...猪脚本在心脏永远挂击败

我在运行下面的脚本猪外壳：

须藤-u HDFS猪

，然后在猪shell中运行

data = LOAD '/user/test/text.txt' as (text:CHARARRAY) ; 

DUMP data;

脚本工作做好

但在色调的浏览器查询编辑器/猪编辑器中运行该脚本时，它停留及以下日志：

2015-09-14 14:07:06,847 [uber-SubtaskRunner] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - More information at: http://HadoopTestEnv:50030/jobdetails.jsp?jobid=job_1442214247855_0002 
2015-09-14 14:07:06,884 [uber-SubtaskRunner] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 0% complete 
2015-09-14 14:07:07,512 [communication thread] INFO org.apache.hadoop.mapred.TaskAttemptListenerImpl - Progress of TaskAttempt attempt_1442214247855_0001_m_000000_0 is : 1.0 
Heart beat 
2015-09-14 14:07:37,545 [communication thread] INFO org.apache.hadoop.mapred.TaskAttemptListenerImpl - Progress of TaskAttempt attempt_1442214247855_0001_m_000000_0 is : 1.0 
Heart beat 
2015-09-14 14:08:07,571 [communication thread] INFO org.apache.hadoop.mapred.TaskAttemptListenerImpl - Progress of TaskAttempt attempt_1442214247855_0001_m_000000_0 is : 1.0 
Heart beat

我已经用纱线utils的脚本支持我的配置纱线的site.xml和marped -site.xml

python yarn-ulti.spy -c 6 -m 16 -d 1 -k True 
Using cores=4 memory=16GB disks=1 hbase=True 
Profile: cores=6 memory=12288MB reserved=4GB usableMem=12GB disks=1 
Num Container=3 
Container Ram=4096MB 
Used Ram=12GB 
Unused Ram=4GB 
yarn.scheduler.minimum-allocation-mb=4096 
yarn.scheduler.maximum-allocation-mb=12288 
yarn.nodemanager.resource.memory-mb=12288 
mapreduce.map.memory.mb=2048 
mapreduce.map.java.opts=-Xmx1638m 
mapreduce.reduce.memory.mb=4096 
mapreduce.reduce.java.opts=-Xmx3276m 
yarn.app.mapreduce.am.resource.mb=2048 
yarn.app.mapreduce.am.command-opts=-Xmx1638m 
mapreduce.task.io.sort.mb=819

脚本仍然挂着，心跳永远，任何一个请帮助我！

这里是我的配置：纱的site.xml

<property> 
    <name>yarn.nodemanager.resource.memory-mb</name> 
     <value>12288</value> 
      </property> 

<property> 
    <name>yarn.nodemanager.resource.cpu-vcores</name> 
     <value>6</value> 
      </property> 


    <property> 
     <name>yarn.scheduler.minimum-allocation-mb</name> 
      <value>4096</value> 
      </property> 

    <property> 
     <name>yarn.scheduler.maximum-allocation-mb</name> 
      <value>12288</value> 
      </property> 

<property> 
     <name>yarn.app.mapreduce.am.resource.mb</name> 
      <value>2048</value> 
      </property> 

<property> 
     <name>yarn.app.mapreduce.am.command-opts</name> 
      <value>-Xmx1638m</value> 
      </property>

Mapred-site.xml中

<property> 
     <name>yarn.app.mapreduce.am.resource.mb</name> 
     <value>1024</value> 
    </property> 
    <property> 
     <name>yarn.app.mapreduce.am.command-opts</name> 
     <value>-Xmx768m</value> 
    </property> 


<property> 
    <name>yarn.app.mapreduce.am.staging-dir</name> 
     <value>/user</value> 
      </property> 

<property> 
    <name>mapreduce.map.java.opts</name> 
     <value>-Xmx1638m</value> 
      </property> 

    <property> 
     <name>mapreduce.reduce.java.opts</name> 
      <value>-Xmx3276m</value> 
      </property> 

    <property> 
     <name>mapreduce.map.memory.mb</name> 
      <value>2048</value> 
      </property> 

    <property> 
     <name>mapreduce.reduce.memory.mb</name> 
      <value>4096</value> 
      </property> 


<property> 
     <name>mapreduce.task.io.sort.mb</name> 
      <value>819</value> 
      </property> 

<property> 
    <name>mapreduce.map.cpu.vcores</name> 
      <value>2</value> 
         </property> 

<property> 
    <name>mapreduce.reduce.cpu.vcores</name> 
       <value>2</value> 
</property>

来源

2015-09-14 PHAO THU

猪八戒应用提出，将用一个MR插槽除了一个Oozie的工作脚本做了什么。

锁定通常是由于submission deadlocks like gotcha #5或集群中只有一个可用的任务插槽。

来源

2015-09-14 23:55:21 Romain

感谢您的回答，我已阅读并编辑我的问题添加一些关于yarn-site和mapred-site配置的信息，但脚本仍然存在，您可以查看并提供更多信息。 –

嗨罗曼，基于你的建议链接，我已经解决了我的问题，在我的情况下，问题是CPU资源块，我已经删除了关于mapreduce.map | redure.cpu.vcores的配置，只是让它默认值，然后它工作好！ –

猪脚本在心脏永远挂击败

回答

相关问题