向Cassandra插入数据的Spark作业

Question

我正尝试在Scala上使用Spark将数据写入Cassandra表。有时火花任务在两者之间失败，并且有部分写入。当新任务从第一个开始时，Spark是否会回滚部分写入。

Answer 1

不，但如果我是对的，你可以重新处理你的数据。这将覆盖部分写入。在写入Cassandra时，当您尝试使用相同主键插入数据时，会使用一种更新（upsert）。

Answer 2

否.Spark（和Cassandra就此而言）不会基于整个任务执行提交样式插入。这意味着你的写作必须是幂等的，否则你最终会出现奇怪的行为。