1. 首页
  2. 问答
  3. 本地MapReduce的VS HBase的MapReduce的

本地MapReduce的VS HBase的MapReduce的

2014-02-19 62 views
1

如果我创建使用TableMapReduceUtil（HBase的）MR工作，似乎HBase的扫描仪将数据输入映射器和减速机将数据转换为特定的HBase的输出格式，将其存储在HBase的表。 出于这个原因，我希望HBase的MapReduce工作会比原生的MR工作更多的时间。 那么，Hbase工作肯定要比原生MR多久？本地MapReduce的VS HBase的MapReduce的

来源

2014-02-19 kevinJ

+1

“这取决于你的特殊案例”。它明显较慢，但有一百万个不同的因素。只有知道的方法是在您的环境中尝试，使用您的配置和数据。 –

+0

谢谢@DonaldMiner，我会试试:) – kevinJ

回答

2

在问候读取经历HBase的速度可能很慢2-3倍，比本地的map/reduce直接使用的文件。

在recently announced HBase 0.98，他们已经增加了功能，做的map/reduce在HBase的快照。你可以看到this presentation的详细信息（出于API位7，16滑动速度比较）。

至于写，你可以写为HFiles直接，然后批量加载到HBase的 - 但是，因为HBase的缓存数据，但批量写入你也可以调整它，并得到相当或更好的成绩

来源

2014-02-20 03:54:14

+0

这个演示文稿非常有帮助！谢谢你的回答:) – kevinJ

相关问题

 相关问题