1
我正在实现Lambda体系结构，分别针对批处理层和速度层使用spark和spark流。到目前为止，我在HBase中存储了批处理视图和实时视图，但在不同的表中。如何在Lambda架构中实现合并操作？
我被困在如何合并由批处理视图生成的批处理视图和由速度层生成的实时视图，以便进行查询。如何做到这一点？我应该将它们转储到同一个HBase表中，客户端直接查询HBase吗？
A
回答
0
首先，我认为HBase不是实时视图的最佳选择，因为重载随机读取/随机写入不是HBase最强大的一面。
无论如何，一个办法可以是以下几点：在星火
- 缓存批次视图
DataFrame/DataSet例如 - 通过通过星火获取的实时性和它表示为
DataFrame/DataSet太 - 创建合适的管道以在需要时合并这些结构，例如在从UI请求等
这样做是非常简化流程可以在我的github上可以找到
相关问题
- 1. 在php中实现集合论操作
- 2. 在架构中实现cronjobs？
- 3. 如何在C＃中实现malloc操作＃
- 4. 如何在MIPS中实现NOT操作？
- 5. 如何在Pascal中实现Matrix操作？
- 6. 如何在Python中实现链操作？
- 7. 如何在JavaScript中实现原子操作（并发模型）？
- 8. 如何在Sequential Oracle设计中实现并行操作？
- 9. 如何MVC5 WCF实现3层架构
- 10. 如何首次实现Solr架构
- 11. 哪个架构适合在这个项目中实现？
- 12. 使用Hadoop，Apache Spark，HBase实现lambda架构
- 13. 如何在实体框架（多个地方或联合）中执行此操作？
- 14. 实体框架和lambda表达式树（深空合并）
- 15. 如何在Google Dart中查找操作系统架构？
- 16. 如何在微服务架构中实现即时一致性？
- 17. 如何在xml架构中实现这一点？
- 18. 如何在MVVM中实现对话架构
- 19. jQuery/javascript DTD架构操作
- 20. 如何在ADO.NET实体框架中执行此操作
- 21. 如何做一个data.table合并操作
- 22. 如何实现JSP浏览器操作
- 23. 记录操作，如何实现更好
- 24. 如何使用Codeigniter实现CRUD操作？
- 25. 如何实现拖放操作
- 26. JSF - JSF实现如何识别操作？
- 27. NHibernate如何实现批处理操作？
- 28. 如何实现字符串操作？
- 29. 如何实现的CRUD操作
- 30. 如何实现原子操作？