0
我有一个map reduce作业，其中每个mapper需要多次随机访问另一个HBase表。我想知道对于那些大量的随机访问（同时由于映射器同时运行）到HBase表的效率如何。mapreduce作业内的随机访问hbase表
非常感谢！
A
回答
1
HBase在随机访问方面效率很高 - 但是，取决于地图中表格的大小/缩小以及您执行的I/O次数，您可能需要考虑替代选项 如果随机/访问表足够小 - 将其加载到每个映射器的内存中（覆盖设置即可）。如果随机访问表很大，考虑运行一个额外的map/reduce来为其他map-reduce做准备（这样你就可以查看两个表/统一表）
相关问题
- 1. 访问hbase表fron hadoop mapreduce
- 2. log4j for hbase mapreduce作业
- 3. 使用MapReduce作业的HBase批量删除作业
- 4. HBase MapReduce，多表操作
- 5. 访问HBase表 - 正常java vs MR作业
- 6. Mapreduce作业随机失败，'BadValueError：名称必须小于500'
- 7. REDIS：随机访问列表
- 8. 使用HBase表作为MapReduce源
- 9. HBase如何启用对HDFS的随机访问？
- 10. 使用MultipleInputs的Hbase MapReduce作业：无法将LongWritable转换为ImmutableBytesWritable
- 11. Jekyll集合的随机访问内容
- 12. IntelliJ内部的Mapreduce作业失败
- 13. Mapreduce combinefileinputformat java.lang.reflect.InvocationTargetException当两个作业访问相同的数据时
- 14. 在HBase上运行Hadoop MapReduce作业时出现NoServerForRegionException
- 15. 以百万次扫描运行hbase mapreduce作业有意义吗？
- 16. 具有混合数据源的MapReduce作业：HBase表和HDFS文件
- 17. HBase与MapReduce
- 18. Hbase mapreduce交互
- 19. Hbase mapreduce错误
- 20. Hbase BulkLoad without mapreduce
- 21. hbase随机写入工作原理
- 22. 意外地访问随机内存，C++
- 23. GridFS随机访问
- 24. 随机访问DocumentFile
- 25. OpenMesh随机访问
- 26. 剖析MapReduce作业
- 27. HbaseTestingUtility和MapReduce作业
- 28. Mapreduce - 序列作业？
- 29. SecondaryNamenode和MapReduce作业
- 30. 多个MapReduce作业