我们需要将数百万个键/值加载到Apache Geode中,我们想知道有哪些可用选项。我们的价值恰巧在256kb的范围内。将数据批量/批量加载到Apache Geode(Gemfire)中有哪些选项?
0
A
回答
1
有根据您的应用需求/ SLA的,或者是否需要执行转换或其他变换几个选项等
外的开箱,阿帕奇的Geode提供Cache & Region Snapshot Service。例如,当您想要将现有的一个Apache Geode群集中的数据迁移到另一个时,这非常有用。如果您的数据来自外部来源,比如RDBMS,那么它就不那么有用了。
另一种选择是根据需要延迟加载数据。这可以通过使用区域实现
CacheLoader
interface和registeringCacheLoader
来完成。显然,您可以创建一个CacheLoader
实现,除了基于当前请求加载和返回单个兴趣值之外,还可以根据某些规则/条件智能加载数据块。很多时候,用户创建的外部,定制转换过程或工具来提取,转换和批量加载(ETL)一组数据到Apache中的Geode。这在复杂的用例或需求中是典型的。然而,这是非常明智的或者用一个框架/工具,如...
Spring XD(现Spring Cloud Data Flow上枢纽的Cloud Foundry的(PCF))是伟大的ETL工具和管道,用于创建基于流的应用程序。 Spring XD/SCDF为“sources”和“sinks”(例如GemFire Server)提供了许多不同的选项。除了来源 & 接收器,你甚至可以“点击”流来处理数据与“Processors”。所以,不管你是做实时数据流或面向批处理的数据操作(如批量加载),春天XD是一个很好的选择。
我相信Google可能会提供关于如何使用像Apache Geode这样的KeyValue商店执行ETL的其他答案。
希望这可以帮助你走。
干杯, 约翰
相关问题
- 1. 在Firebase中加载批量数据
- 2. 批量下载bibtex数据?
- 3. Mpdf批量数据加载问题
- 4. 模型API或加载批量数据?
- 5. 如何将数据批量加载到python中的hbase
- 6. 将SQLite数据库文件批量加载到SQL Server中
- 7. 将数据批量加载到b +树中
- 8. 将数据批量加载到Neo4J中的最佳方法
- 9. 将s3中的批量数据加载到redshift
- 10. 将批量数据从Oracle加载到使用ASP.NET访问
- 11. 懒惰加载批量数据集Keras
- 12. 弹簧批处理作家父子表数据批量加载
- 13. 将批量数据加载到Elasticsearch时出错
- 14. 无法使用弹簧批量将数据加载到MySQL DB
- 15. 将数据从XML文件批量加载到MySQL
- 16. 将巨量批量数据文件自动导入apache cassandra
- 17. 批量加载文件到SQL Azure中?
- 18. 使用批量收集将数据追加到表变量
- 19. HBase批量加载使用
- 20. 将数据批量加载到具有使用SQLAlchemy的ForeignKey的postgreSQL表中
- 21. 批量插入失败“批量加载数据转换错误(截断)”
- 22. 将数据批量上传到GAE数据存储Java项目
- 23. 批量保存到数据库的大批量日志记录?
- 24. 批量加载TFRecord文件
- 25. 使用批量数据加载器将三元组加载到Blazegraph
- 26. 将批量插入添加到Web API
- 27. 批量加载使用猪
- 28. 如何使用Asp.net将批量表添加到数据库中
- 29. XML批量加载问题到SQL Server
- 30. Alfresco分享:批量(批量)更新元数据