将非常大的数据集导入arangoDB时出错

我试图通过arangoimp将大数据集导入到ArangoDB。它大约有5500万条边缘。我同意将wal.logfiles的大小（--wal.logfile-size从32k增加到1024k）。这解决了最后一个错误。但现在我得到以下错误：将非常大的数据集导入arangoDB时出错

WARNING {collector} got unexpected error in MMFilesCollectorThread::collect: no journal 
ERROR cannot create datafile '/usr/local/var/lib/arangodb3/databases/database-1/collection-2088918365-385765492/temp-2153337069.db': Too many open files

Importstatement是：arangoimp --file links_de.csv --type csv --collection links

有没有办法让arangoimp工作更进行迭代喜欢做大块的东西？我会很复杂的分割CSV的一些部分，因为它的大小...

非常感谢！

来源

2017-07-07 Hendrik Pommerening

多个错误消息： '错误{压实}无法创建压实文件：没有journal' '错误不能创建数据文件“在/ usr /本地的/ var/lib中/ arangodb3 /databases/database-1/collection-42-2031239911/compaction-110.db'：打开的文件过多 –

我终于解决了它： Too many open files是提示。您需要提高打开文件句柄的限制。因此，在unix/mac os上启动arango之前，运行ulimit -n 16384或更高，以提高此shell会话的限制。之后导入仍然需要几个小时，但为我工作。您还可以在arango中增加集合的日志大小以减少所需文件句柄的数量。

还看到有：ArangoDB Too many open files

来源

2017-07-09 12:34:56

将非常大的数据集导入arangoDB时出错

回答

相关问题