2012-12-11 85 views

回答

1

我们的导入工作人员遇到了CPU使用限制并被杀死。我们正在增加限制,但它可能是一个损坏的gzip文件。限制提高后,我会更新此响应。

我意识到这可能是一个大文件的痛苦,但你可以重试一个未压缩的文件?如果您有一个未压缩的文件并将allow_quoted_newlines设置为false,则导入将并行完成,并且应该高达100倍。

+1

它与未压缩的70Gb文件一起工作,并通过allow_quoted_newlines = false导入非常快! –

+0

gzip文件似乎没问题。 Gzip -t不会抱怨。这里是链接:http://commondatastorage.googleapis.com/staq-events/events-100k-1.csv.gz –