在Cassandra中设计时间序列数据库

Question

我正在创建一个Cassandra时间序列数据库，用于存储数百万系列的日常数据，这些数据可能总共可能有100B个数据点。

我看了这篇文章： http://rubyscale.com/blog/2011/03/06/basic-time-series-with-cassandra/

这样的设计是非常完善的。所以基本上我可以将每日时间戳记作为列，并且如果必要的话，通过将该日添加到行来分割​​列。

两个问题，我有：

• 我在看存储多达20,000时间戳（每日）列。是否有必要通过例如分割行。一年的这个数量的列？分割行以减少每年365列的数量是否有优势/劣势。
• 我的另一个想法是，而不是逐行分栏是每年创建列家族。通过这种方式访问​​多年的数据时，我不得不查询多个列族而不是一个列族，并在客户端加入结果。这种方法会加快速度或者放慢速度吗？

Answer 1

如果您要管理大量的写入操作，那么您的方法有一个问题。

总是写入1个键意味着该键的所有写入操作都将转到一个节点。基本上你每天会在你的集群中使用一个节点，所以你可能有一个巨大的Cassandra实例，而不是麻烦建立一个集群。 如果您的写入频率变得非常高，您可能会降低负责该日期/密钥的节点。

我的建议是在同一时间使用多行存储一天。由于在一个桶内突然激增可能会导致所有事情都下降，因此时间分配可能很危险。

，你可以这样创建你的水桶（行密钥）：

• [ROW_BASE_NAME] + [DAY] + someHashFunction（时间戳）％10
• [ROW_BASE_NAME] + [DAY] + random.nextInt （10）
• [ROW_BASE_NAME] + [DAY] + nextbucket < ---那就是如果你有旋转桶以安全的方式自己

有很多方法可以做到这一点。您也可以使用正在保存的列的某个元素来执行此操作。 但我认为这样做应该很重要，以便随时利用整个cassandra集群。

我的答案只适用于编写繁重的应用程序/功能，因为您将不得不使用multi_get（多键全行读取）读取所有数据并重新构建当天的整个时间线。

Answer 2

您还应该阅读关于Advanced Time Series with Cassandra的这篇文章。