Node.js - 调用搜索索引时内存不足

Question

我试图从csv文件读取数据并将其插入到elasticsearch索引中。如下所示，我使用readstream并监听“data”事件。我的问题是，我很快就用这种方法耗尽内存。我猜这是因为elasticsearch模块（弹性）每次都在创建一个REST，并且这些请求的数量会增加。

我非常新，所以是有我的方式来解决这个问题，因此不会耗尽内存？任何一般的模式或技巧？

stream.on('data', function (doc) { 
    // create a json from doc 
    client.index('entities', 'command', json, function (err, res) { 
     console.log(res); 
    }); 
} 

Answer 1

当您获取数据时暂停数据流，并在请求完成时恢复数据流。

stream.on('data', function (doc) { 
    stream.pause(); 
    // create a json from doc 
    client.index('entities', 'command', json, function (err, res) { 
     stream.resume(); 
     console.log(res); 
    }); 
} 

你的代码奇怪的是你不是在函数中使用doc任何地方。我猜你没有发布你的整个代码。