卡桑德拉RPC超时从CSV

Question

进口

我尝试使用下面的语法导入CSV入列家庭卡桑德拉：

copy data (id, time, vol, speed, occupancy, status, flags) from 'C:\Users\Foo\Documents\reallybig.csv' with header = true; 

的CSV文件大小约为700 MB，并当我运行某些原因这个命令在cqlsh中出现以下错误：

“请求未在rpc_timeout内完成”。

什么问题？ CSV中没有错误，在我看来Cassandra应该在这个CSV文件中没有任何问题。

Answer 1

Cassandra安装文件夹有一个.yaml文件来设置rpc超时值，即“rpc_timeout_in_ms”，您可以修改该值并重新启动cassandra。

但另一种方法是削减你的大csv文件乘法和输入文件一个接一个。

Answer 2

这实际上最终成为我自己对COPY-FROM的误解，因为CSV约为1700万行。在这种情况下，最好的选择是使用散装装载程序示例并运行sstableloader。但是，如果我想将CSV分成17个不同的CSV（这是一个选项），上面的答案肯定会起作用。