执行Hadoop作业所耗费的时间

是否有一个API来确定Hadoop作业执行多长时间（正好 - >没有黑客）？执行Hadoop作业所耗费的时间

2011-07-28 ExtremeCoder

你想知道工作完成后，或稍后，从历史？ –

工作完成后（ - >当进度接近100％时） – ExtremeCoder

我认为最简单的方法是测量驱动程序类中的时间。你可以吗？我的意思是这样的：

long start = new Date().getTime(); 
    boolean status = job.waitForCompletion(true);    
    long end = new Date().getTime(); 
    System.out.println("Job took "+(end-start) + "milliseconds");

来源

2011-07-28 20:12:48

我喜欢简单的解决方案。 –

这实际上是我现在使用多线程环境的方式，我只是想知道Hadoop是否为此保留某种计数器...谢谢:) – ExtremeCoder

请记住，这不是太准确（秒 - ），因为waitForCompletion（）每n秒轮询一次作业的完成。 –

执行Hadoop作业所耗费的时间

回答

相关问题