hadoop 2.6.0测试样本。

Question

我有一个2奴隶节点迷你集群hadoop系统，并试图对它做一些测试。 该系统已成功配置了hadoop 2.6.0，并且我已对其执行了WordCount测试。除WordCount以外是否还有其他好的测试示例？ （也许更多的实际测试处理更大的数据）使用开源代码？我已经看到大部分谷歌搜索的例子，但是hadoop版本太旧了，或者没有源代码来测试它们。我喜欢这个：使用Hadoop来分析完整的维基百科转储文件使用WikiHadoop，虽然hadoop版本是老的。如果有人知道有一个更新的版本，将是伟大的（任何类似的将是好的）... TIA！

Answer 1

我在一个项目中工作，以举例说明Hadoop MapReduce框架中的不同功能。它仍在进行中，但使用现代API（Word和Hadoop）的WordCount作业有不同版本。

它包括utils生成测试输入文件。但只需稍作更改，您就可以使用它来处理您自己的测试文件。就像修改映射器中的后续行以使用空格或逗号分割一样。

String[] words = line.split("\t"); 

https://github.com/lalosam/HadoopInExamples