Node.js代码加载不一致到mongodb

Question

以下代码尝试从csv文件加载到在本地主机上运行的mongodb实例。

问题 - 它在每次运行时加载不同数量的文档（始终少于csv中的记录总数）。

var csv = require('csv'); 

var server = new Server('localhost', 27017, {auto_reconnect: true, poolSize: 1}); 
var db = new Db('test', server); 

db.open(function(err, db, onemore) { 
    if(!err) { 
    //Database connection is established. 
    db.collection('teststocks', function(err, collection) { 
     if(!err) { 
     // Stocks collection is connected, open the file and insert the doc 
     console.log("Trying to load from " + process.argv[2]); 
     csv() 
      .fromPath(process.argv[2], { 
      columns: true 
      }) 
      .on('data', function(data, index) { 
      //data.stock = process.argv[2].substring(process.argv[2].lastIndexOf('/') + 1, process.argv[2].lastIndexOf('.')); 
      collection.insert(data, {safe: true}, function(error, collection){ 
        if (error) { console.log("Error inserting record : " + error); } 
      }); 
      console.log("Inserted data for " + index); 
      }) 
      .on('error', function(error) { 
      db.close(); 
      console.log("Error: " + error); 
      }) 
      .on('end', function(count) { 
      console.log("Finished all writing."); 
      db.close(); 
      }); 
     } 
    }); 
    } 
}); 

P.S：我能够加载使用mongoimport实用，但作为一个初来乍到的Node.js和MongoDB的数据;我想了解我在上面的代码中犯的错误。

Answer 1

这很可能是因为您在csv()读完后关闭数据库连接。但是，由于collection.insert是异步的，因此不能保证在完成csv并调用db.close()之前每个呼叫都已完成。

一种选择是收集csvdata到Array，然后insert所有的人都在一次：

var docs = []; 

csv() 
    // ... 
    .on('data', function (data, index) { 
    docs.push(data); // or possibly: docs[index] = data; 
    }) 
    // ... 
    .on('end', function() { 
    console.log("Finished reading CSV.");  

    collection.insert(docs, { safe: true }, function (error, inserted) { 
     console.log("Finished all writing."); 
     db.close(); 
    }); 
    });