从RDBMS迁移到Cassandra

Question

我需要将5 TB的图像数据从RDBMS迁移到cassandra。我尝试过sqoop，但速度太慢。任何人都可以请建议任何迁移工具。

谢谢

Answer 1

对于系统间的大数据移动使用spark。 它分布和弹性。

val jdbcDF = sqlContext.load("jdbc", Map(
    "url" -> "jdbc:postgresql:dbserver", 
    "dbtable" -> "schema.tablename")) 

http://spark.apache.org/docs/1.6.2/sql-programming-guide.html#jdbc-to-other-databases

jdbcDF.write.format("org.apache.spark.sql.cassandra").\ 
      options(keyspace="ks", table="tablename").\ 
      save(mode="append") 

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/14_data_frames.md

您可以使用开源的Apache Spark或DataStax企业。 Datastax Enterprise提供Apache Cassandra + Apache Spark +许多其他的东西安装在每个节点上，以实现Spark和Cassandra之间的完美分布式处理和数据局部性。 我是DataStax的员工。