2011-07-21 56 views
1

我有4 GB RAM和2个4核CPU的服务器。当我开始在Cassandra中执行大量写入时,所有工作都很好,但是在几个小时后,每秒插入10K数据库的数据库增长到25+ GB,性能降至500插入每秒cassandra大量写入性能问题

我发现这是因为压缩操作非常缓慢,但我不明白为什么?我设置了8个并发压缩线程,但Cassandra不使用8个线程;只加载2个核心。

感谢任何帮助。

+0

你在试这个吗? – sdolgy

+0

如果我想大胆猜测,我会说你可能会用很多并发压缩来完成你很小的堆。因此首先删除一个并发压缩,然后用这种信息更新您的问题:http://spyced.blogspot.com/2010/01/linux-performance-basics.html和Cassandra的StatusLogger正在写入其系统的行.LOG – jbellis

回答

4

我们已经看到了卡桑德拉类似的问题是不合时宜的盒子,请参阅:

http://www.acunu.com/blogs/richard-low/cassandra-under-heavy-write-load-part-ii/

一个解决方案,以这些类的性能退化问题(但绝不是唯一的)是考虑不同的存储引擎(如Castle)在上述博客文章(它的开源代码(GPL v2))中使用,具有更好的性能并且更加优雅地降级。该代码是在这里(我只是推了卡桑德拉0.8支持的一个分支):

https://bitbucket.org/acunu/fs.hg

,并就如何上手说明在这里:

http://support.acunu.com/entries/20216797-castle-build-instructions

(全面披露:我为Acunu工作,所以可能会有点偏颇;-)