火花与复制卡桑德拉节点

Question

我发现制品，其中作者建议使用下一个火花卡桑德拉架构模式（火花从每个节点卡桑德拉）：

我有N个卡桑德拉节点。所有节点都是完整的对方副本。在我的情况下，为每个Cassandra节点运行Spark slave是否有意义？

Answer 1

是的。 Spark-Cassandra连接器具有数据位置感知能力，即每个与Cassandra节点共处的Spark节点将确保只处理本地Cassandra数据，这样可以避免在整个网络中混洗大量数据。您可以通过观看Russell Spitzer关于此主题here的演讲来了解其工作原理。