如何模拟生产群集以测试单机中的hadoop作业

Question

我想在开发工作站上运行hadoop作业以便在投入生产之前进行测试。 hadoop中的哪种模式操作允许在使用单台机器时最接近地模拟生产群集。

Answer 1

我在我的vmware映像上使用伪分布式模式在部署之前进行测试。

Answer 2

Cloudera的伪分布式模式CDH4运行在一台机器上。多名工人的模拟是通过命令行完成的，非常简单！如果遵循准确的话，那么这些文档就是您需要阅读的所有内容才能运行群集。

我还没有做任何性能测试来比较它与Chris Gerken的建议：VMware的模拟，但我不会感到惊讶，看到它更有效地运行。无论如何，因为你只是想在Linux机器上测试它，所以我猜可以没事的。