存储大量数据点？

Question

什么是存储大量数据点的最佳方式？

对于被测量过大量的位置，每分钟例如温度值？

每个数据点，一行SQL数据库似乎并不十分有效。

Answer 1

我想知道为什么你看它是“效率不高”。可能您需要解释您的数据模型和模式以提供更好的场景背景。

将多个数据点存储到单个行中时，如果它们彼此不相关，并且确实应该独立运行，则不是一个好方法。一起网格化将导致非常直观且奇特的查询语句，以提取给定场景所需的正确数据点。

我们之前在发电站做过工作，从各种系统和计量设备收集数据，需要监测和汇总各种各样的气体和电气参数。根据参数的类型，它们可以每3-5分钟到30-60分钟。这些自然会导致每月有数百万条记录。

关键是正确索引表，以便它们的物理顺序与记录进入的顺序相关联。（聚簇索引）新页面和区段是按传入数据顺序创建和填充的。这应该可以防止大量的页面拆分和重新洗牌。

Answer 2

像这样的表可能工作：

LocationID，温度，时间戳

我不明白为什么这不会是有效的。毕竟，这是数据库的用途。

Answer 3

关键questiopn可能是：你需要以后如何访问它们？

如果需要使用时间戳和位置ID每个点关联，以后需要检索基于来自多个客户的时间/时间范围和位置单独测量，一个数据库可能的确是最有效的检索。

OTOH，如果您的客户端将加载并处理一个位置一整天的数据，将数据存储在每个位置和一天的一个文件中可减少依赖关系，并且可能更容易。

其他问题是备份和存档，如果您的用户可以/应该自己处理。