Hadoop在单节点集群上运行排序示例

我想在Hadoop单节点集群上运行排序示例。首先，我开始守护程序：Hadoop在单节点集群上运行排序示例

[email protected]:/home/user/hadoop$ bin/start-all.sh

然后我跑了随机作家例如生成顺序文件作为输入文件。

[email protected]:/home/user/hadoop$ bin/hadoop jar hadoop-*-examples.jar randomwriter rand

Hadoop的@ Ubuntu的：/ home/user中/ Hadoop的$斌/ Hadoop的罐子的hadoop - * - examples.jar randomwriter兰特

运行0地图。

Job started: Thu Mar 31 18:21:51 EEST 2011 
11/03/31 18:21:52 INFO mapred.JobClient: Running job: job_201103311816_0001 
11/03/31 18:21:53 INFO mapred.JobClient: map 0% reduce 0% 
11/03/31 18:22:01 INFO mapred.JobClient: Job complete: job_201103311816_0001 
11/03/31 18:22:01 INFO mapred.JobClient: Counters: 0 
Job ended: Thu Mar 31 18:22:01 EEST 2011

这项工作耗时9秒。

[email protected]:/home/user/hadoop$ bin/hadoop jar hadoop-*-examples.jar sort rand rand-sort

1个节点运行排序从hdfs://localhost:54310/user/hadoop/rand成

hdfs://localhost:54310/user/hadoop/rand-sort 1降低。

Job started: Thu Mar 31 18:25:19 EEST 2011 
11/03/31 18:25:20 INFO mapred.FileInputFormat: Total input paths to process : 0 
11/03/31 18:25:20 INFO mapred.JobClient: Running job: job_201103311816_0002 
11/03/31 18:25:21 INFO mapred.JobClient: map 0% reduce 0% 
11/03/31 18:25:32 INFO mapred.JobClient: map 0% reduce 100% 
11/03/31 18:25:34 INFO mapred.JobClient: Job complete: job_201103311816_0002 
11/03/31 18:25:34 INFO mapred.JobClient: Counters: 9 
11/03/31 18:25:34 INFO mapred.JobClient: Job Counters 
11/03/31 18:25:34 INFO mapred.JobClient:  Launched reduce tasks=1 
11/03/31 18:25:34 INFO mapred.JobClient: FileSystemCounters 
11/03/31 18:25:34 INFO mapred.JobClient:  HDFS_BYTES_WRITTEN=96 
11/03/31 18:25:34 INFO mapred.JobClient: Map-Reduce Framework 
11/03/31 18:25:34 INFO mapred.JobClient:  Reduce input groups=0 
11/03/31 18:25:34 INFO mapred.JobClient:  Combine output records=0 
11/03/31 18:25:34 INFO mapred.JobClient:  Reduce shuffle bytes=0 
11/03/31 18:25:34 INFO mapred.JobClient:  Reduce output records=0 
11/03/31 18:25:34 INFO mapred.JobClient:  Spilled Records=0 
11/03/31 18:25:34 INFO mapred.JobClient:  Combine input records=0 
11/03/31 18:25:34 INFO mapred.JobClient:  Reduce input records=0 
Job ended: Thu Mar 31 18:25:34 EEST 2011

工作耗时14秒。

[email protected]:/home/user/hadoop$ bin/hadoop dfs -cat rand-sort/part-00000

SEQ＃ “org.apache.hadoop.io.BytesWritable” org.apache.hadoop.io.BytesWritablej“我& 9＃

我是新来的Hadoop。我所做的一切都是正确的，还是我做错了什么？我的问题是，我怎么看到randomwritewr生成的数据和排序示例中的结果是正确的？我从哪里可以看到它们？

来源

2011-04-05 pr_prog_84

的问题是，你的TaskTracker是不是你尝试运行作业的时间启动时，它不会立即启动。您可以运行bin/hadoop job -list-active-trackers来查看tasktracker是否启动，可能需要一些时间才能完成。没有tasktracker =没有节点来映射编写器。

来源

2011-06-16 17:22:35 hadoopinator

11/03/31 18:25:20 INFO mapred.FileInputFormat: Total input paths to process : 0

没有输入，你必须提供一个工作必须期待他的输入文件的路径。似乎RandomWriter也没有输入，你必须为每个工作提供输入，否则什么都不会启动。

RandomWriter @ Hadoop Wiki

来源

2011-04-05 16:38:54

看起来好像我有点卡住了......请给我一些正确的命令，以便问题得到解决吗？ – 2011-04-05 16:54:03

btw非常感谢你！ – 2011-04-05 16:54:25

对不起，这里有个很好的解释： – 2011-04-09 08:51:41

Hadoop在单节点集群上运行排序示例

回答

相关问题