MongoDB导入CSV忽略错误

Question

是否可以使用mongoimport将数据从CSV导入到mongoDB中，但在解析csv行时忽略任何错误？ 我有一个大约200百万行的csv文件，其中一些格式不正确，每次修复/尝试都需要很长时间。

Answer 1

使用--parseGrace skipRow选项。

​​

--parseGrace 恩典

默认值：3.4版本停止

新建。

指定当导入带有的CSV或TSV文件的 --columnsHaveTypes时，mongoimport如何处理类型强制失败。

- 导入JSON文档时，parseGrace不起作用。

• autoCast：根据字段的值分配类型。例如，如果一个字段被定义为double，并且该字段的值为“foo”，则mongoimport会使该字段值为字符串 类型。
• skipField：对于正在导入的行，mongoimport不包含其类型与预期类型不匹配的字段。
• skipRow：mongoimport不导入包含其类型与预期类型不匹配的值的行。
• stop：mongoimport返回结束导入的错误。