2016-08-21 43 views
1

我从火花中吸取了cassandra中的2亿条记录。使用spark-cassandra连接器。Cassandra在不同运行中显示不同的结果

我遇到了以下两个问题。对不起,这个主题只提到一个问题。

1)com.datastax.driver.core.exceptions.WriteFailureException:在一致性LOCAL_QUORUM写入查询期间卡桑德拉失败(1个响应被要求,但只有0副本响应,1失败)

我想出的是,具有较高复制因子优选为3会解决这个问题。我仍然面临同样的问题。

我需要重新启动群集吗?

2nd &重要)我跑了火花的工作做count(*)在我的桌子上。 Spark工作没有任何错误。但是,每次我的工作都给了我不同的评价。 我强烈认为cassandra非常稳定和坚实。可能是我可能会在这里错过一些重要的作品。

My actual number of rows: 286,530,307 
My first run result: 285,508,150 
2nd Run: 285,174,293 
3rd Run: 285,232,533 

为什么我在不同的跑步中得到不同的结果?

我的钥匙创造空间:

CREATE KEYSPACE IF NOT EXISTS db_research WITH REPLICATION = { 'class' : 'SimpleStrategy', 'replication_factor' : 3 }; 

我的表有28列和使用

引发这样的结果我的错误中的任何一个。?即使有错误,它应该每次都显示相同的次数。我错过了什么?

回答

0

尝试运行nodetool repair - 这将在您的集群同步副本:https://docs.datastax.com/en/cassandra/2.0/cassandra/operations/ops_repair_nodes_c.html

+0

嗨,当我用nodetool修复它正在采取永远完成。我截断了表,然后做了nodetool修复。由于没有数据,它是早期完成的,但是当我再次摄入数据时,它的命运也是如此。 – Srini

+0

我也面临同样的问题,你可以告诉我压实会有帮助吗?我现在不想丢失数据。 – ashK

相关问题