多节点Hadoop集群中的HDFS压力测试

Question

我已经设置了一个多节点Hadoop集群。我打算在不使用MR的情况下测试HDFS的性能。 Hadoop测试jar中是否有这样的基准？

感谢

Answer 1

TestDFSIO：

1. 默认输出目录是/基准/ TestDFSIO
前
2. 运行写测试读取测试

用于运行写的语法测试如下：

TestDFSIO.0.0.4 
Usage: hadoop jar $HADOOP_HOME/hadoop-*test*.jar TestDFSIO -read | -write | -clean [-nrFiles N] [-fileSize MB] [-resFile resultFileName] [-bufferSize Bytes] 

例如：运行产生大小1GB的10个输出文件总共10GB的写入测试的命令是：

$ hadoop jar hadoop-*test*.jar TestDFSIO -write -nrFiles 10 -fileSize 1000

类似地，使用尺寸为1GB 10个输入文件读取测试是：

$ hadoop jar hadoop-*test*.jar TestDFSIO -read -nrFiles 10 -fileSize 1000 

清理并使用移除测试数据：$ hadoop jar hadoop-*test*.jar TestDFSIO -clean

个口译TestDFSIO结果：

样品：

----- TestDFSIO ----- : write 
      Date & time: Fri Apr 08 2011 
     Number of files: 1000 
Total MBytes processed: 1000000 
    Throughput mb/sec: 4.989 
Average IO rate mb/sec: 5.185 
IO rate std deviation: 0.960 
    Test exec time sec: 1113.53 

----- TestDFSIO ----- : read 
      Date & time: Fri Apr 08 2011 
     Number of files: 1000 
Total MBytes processed: 1000000 
    Throughput mb/sec: 11.349 
Average IO rate mb/sec: 22.341 
IO rate std deviation: 119.231 
    Test exec time sec: 544.842 

最显着的位置指标吞吐量MB /秒和平均IO速率MB /秒。

Source