HbaseTestingUtility和MapReduce作业

Question

我想在扩展TableMapper的非常基本的mapper上使用HbaseTestingUtility运行测试。 在我的测试课中，我使用utility.startMiniCluster()启动MiniCluster，并在设置方法中使用utility.createTable(tablename_bytes, familyname_bytes)创建测试表。

然后我用启动映射：

Job job = new Job(utility.getConfiguration()); //Job.getInstance(); 
TableMapReduceUtil.initTableMapperJob(tableName, new Scan(),MyBasicHbaseMapper.class,Text.class, Text.class, job); 
job.waitForCompletion(true); 

这是我的错误：

java.io.FileNotFoundException: File does not exist: hdfs://localhost:57276/Users/user1/.m2/repository/org/cloudera/htrace/htrace-core/2.04/htrace-core-2.04.jar 

这个jar文件是~/.m2/repository/org/cloudera/htrace/htrace-core/2.04/htrace-core-2.04.jar。

我在做什么错？

Answer 1

我遇到类似的问题，敲我的头靠在了数个小时后，终于实现了解决方案......

后立即调用：

utility.startMiniCluster(); 

调用：

utility.startMiniMapReduceCluster(); 

方法#startMiniCluster只启动HBase，HDFS和Zookeeper的小型集群。启动MapReduce小型集群需要#startMiniMapReduceCluster !!

顺便说一句，你的测试处理结束后，一定要调用：

utility.shutdownMiniMapReduceCluster(); 
utility.shutdownMiniCluster();