将Apache Pig连接到Hadoop集群

Question

我正在使用Apache Pig对Hadoop集群执行一些数据分析工作。我在hadoop集群中部署了一个集合节点和32个从属节点。但是，当我使用Pig在mapreduce模式下运行脚本时，连接到该Hadoop群集时，它始终只启动一个映射并减少一个映射。我如何设置Pig或Hadoop来使用所有32个从站？下面

工作状态显示：

Job Stats (time in seconds): 
JobId Maps Reduces MaxMapTime MinMapTime AvgMapTime MedianMapTime MaxReduceTime MinReduceTime AvgReduceTime MedianReducetime Alias Feature Outputs 
job_1457865367374_0001 1 1 88 88 88 88 27 27 27 27 1-1,access_grouped,access_summed,cleaned,named,raw,timed,timed_grouped,timed_summedMULTI_QUERY 
job_1457865367374_0002 1 1 5 5 5 5 5 5 5 5 access_ordered SAMPLER 
job_1457865367374_0003 2 1 10 10 10 10 6 6 6 6 density,density_scored HASH_JOIN 
job_1457865367374_0004 1 1 5 5 5 5 5 5 5 5 timed_ordered SAMPLER 
job_1457865367374_0005 1 1 5 5 5 5 5 5 5 5 timed_ordered ORDER_BY hdfs://master:54310/user/ubuntu/Data/timed_ordered, 
job_1457865367374_0006 1 1 5 5 5 5 5 5 5 5 access_ordered ORDER_BY hdfs://master:54310/user/ubuntu/Data/access_ordered, 
job_1457865367374_0007 1 1 5 5 5 5 5 5 5 5 density_ordered SAMPLER 
job_1457865367374_0008 1 1 5 5 5 5 5 5 5 5 density_ordered ORDER_BY hdfs://master:54310/user/ubuntu/Data/density_ordered, 

b.t.w，我主计算机上安装了Apache猪。

Answer 1

SET default_parallel XYZ

在猪上述命令给出功率来设置无。并行任务。但hadoop Framework检测不到。 （基于输入拆分的数量）和缩减器（可以在Custer级别或应用程序级别上设置）。你不能设置否。你的应用程序的映射器，但减速器，你可以。