大数据存储与地理，频繁更新

Question

我必须选择一个大的数据存储为我的项目

它包括地理（纬度，经度和一些计算基础上，像从指定位置的距离）。

数据将会经常更新。我计划每分钟更新大约20k-80k的物体。它将总共存储大约500k个对象。我每分钟都会得到一组~5万个XML对象。我需要解析它并更新现有的并添加新的。

根据特定字段，所有对象都是唯一的。 在一段时间内，我将不得不添加存储历史数据（每个对象3周回来，每分钟更新一次）。

你建议什么存储空间？我正在考虑aws redis或mongodb。我担心ppstgresql不会成功。

我的项目是在Django制成，加工将使用芹菜

感谢您的任何建议被触发。

Answer 1

您可以使用Accumulo和GeoMesa插件。

本网站帮助您了解如何配置和使用它。我尝试过，当时我正在处理大量的空间数据，并且当时效果很好。

我配置Accumulo使用Cloudera堆栈，因为它使配置Accumulo简单，但您可以独立安装它。