mrunit - 优文库

mrunit

0热度

1回答

如何用hdfs测试hadoop mapreduce？

我正在使用MRUnit为我的mapreduce作业编写单元测试。但是，我有麻烦，包括hdfs进入混合。我的MR作业需要来自hdfs的文件。我如何模拟MRUnit测试用例中的hdfs部分？编辑：我知道，我可以指定输入/ exepctedOutput在测试基础设施我MR代码。但是，那不是我想要的。我的MR作业需要读取另一个具有域数据才能完成这项工作的文件。该文件位于HDFS中。我如何模拟这个文件

1热度

1回答

java.lang.ClassCastException：org.apache.hadoop.io.serializer.WritableSerialization无法转换为org.apache.hadoop.io.serializer.Serialization

我正在使用MRUnit测试MultipleOutputs。测试用例因以下消息而失败。 java.lang.ClassCastException: org.apache.hadoop.io.serializer.WritableSerialization cannot be cast to org.apache.hadoop.io.serializer.Serialization 我使用了以下注

0热度

1回答

如何使用mvn测试命令运行MRUnit测试（如JUnit测试）

我可以通过右键单击项目并单击Run作为JUnit测试从eclipse运行MRUnit测试，但是当我使用mvn运行相同的MRUnit测试程序在命令行上测试命令，我得到下面的输出没有任何错误： ... Running com.bah.ossem.WordcountMRUnitTest Configuring TestNG with: [email protected]ed5 Tests r

1热度

2回答

mrunit执行测试方法错误HADOOP_HOME或hadoop.home.dir未设置

我想测试hadoop2的mapreduce代码，使用mrunit但有错误。本地机器不要在windows中安装hadoop。 pom.xml的下面： <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-core</artifactId> <version>2.6.0-

2热度

1回答

MRUnit测试用于测试hadoop映射程序错误

我想单元测试使用MRUnit的Mapper程序（来自Hadoop：权威指南，第153页，部分：使用MRUnit编写单元测试：Mapper）。我使用的IntelliJ IDEA，它是示出了方法的误差 new org.apache.hadoop.mrunit.MapDriver<>().withMapper(myMapper) 该错误消息表示， withMapper（org.apache.hado

0热度

1回答

在MRUnit中测试特定异常

在TestNG（或JUnit）中，它很简单。云是这样的： @Test(expectedExceptions = NullPointerException) public void test() throws NullPointerException { String x = null; String y = "y"; Assert.assertEquals(x.so

0热度

1回答

Mrunit：如何为MultiOutput测试设置数值比较器

有没有一种方法可以设置键/值比较器来测试mrunit中的MultiOutput？基于我的分析： mrunit不使用键/值比较器来测试多输出的期望值和实际值的相等性。键/值比较器仅用于单输出键和值比较。 TestDriver类对于单输出和多输出具有单独的方法，用于比较预期结果和实际结果。 validate(single outputs, orderMatters); validate(multi

0热度

1回答

如何用MRUnit中的avro参数测试reducer？

我试图测试波纹管 Reducer<CompositeKeyWritable, AvroValue<Class1>, AvroKey<Class2>, NullWritable> 为了这些目的，我用下面的代码测试的减速机： CustomReducer reducer = new CustomReducer(); reduceDriver = new ReduceDriver<Compo

2热度

1回答

MRUnit测试在使用多个OUTPUTS写入HDFS时给出NULLPOINTER异常

我目前有一个mapReduce程序，它使用不同的文件名将数据发送到hdfs。所以在我的reducer中，我使用MultipleOutputs写入HDFS中的不同文件（Full Reducer代码如下）。我想使用mrunit测试我的代码，下面是我的测试方法。 @Test public void reducerMRUnit() throws IOException{ String ou

5热度

1回答

MRunit依赖最新cloudera存储库

我无法找到最新的mrunit(1.1.0)在Cloudera存储库。可用的是0.8.0-incubating。以下是我的pom： <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http

«
1
2
3
»