如何从JSON文件目录向mongoDB添加多条记录？

Question

我有大约一百万个JSON文件保存在目录“D：/ njs/nodetest1/imports/source1 /”的许多子目录中，我想将它们导入到我的mongoDB数据库的集合“users”中。

以下代码正确遍历文件系统。正如你所看到的，它读取目录中的每个项目，如果该项目是一个目录，它将读取其中的每个项目。对于不是目录的每个项目，在发送包含函数的变量之前，它会对其执行一些操作。

function traverseFS (path){ 
    var files = fs.readdirSync(path); 
    for (var i in files){ 
      var currentFile = path + '/' + files[i]; 
      var stats = fs.statSync(currentFile); 
      if (stats.isFile()) 
       runOnFile(currentFile); 
      else 
       traverseFS(currentFile); 
    } 
} 
traverseFS("D:/njs/nodetest1/imports/source1/") 

接下来，我对代码运行了一些操作（见下文）。它读取文件，将其解析为JSON对象，将该对象的两个属性读入变量，在变量“entry”中创建一个对象并将该变量传递给另一个函数。

function runOnFile(currentFile){ 
    var fileText = fs.readFileSync(currentFile,'utf8'); 
    var generatedJSON = JSON.parse(fileText); 
    var recordID = generatedJSON.recordID; 
    var recordText = generatedJSON.recordTexts; 
    var entry = {recordID:recordID, recordText:recordText}; 
    insertRecord(entry); 
} 

然后将最终的功能应当用于将数据插入到MongoDB中。我认为这是事情出错的地方。

function insertRecord(entry){ 
    var MongoClient = mongodb.MongoClient; 
    var MongoURL = 'mongodb://localhost:27017/my_database_name'; 
    MongoClient.connect(MongoURL, function (err, db) { 
     var collection = db.collection('users'); 
     collection.insert([entry], function (err, result) { 
      db.close(); 
     }); 
    }); 
} 

我想到这在文件结构中运行，读取JSON文件为对象，然后将这些对象到MongoDB的我。相反，它会将第一个文件读入数据库，然后停止/挂起。

注：

• 我不想使用mongoimport，因为我不希望插入从这些文件中的所有数据到我的MongoDB数据库。然而，我并不拘泥于这种方法的任何方面。如果存在其他解决方案，我愿意接受。
• 这连接到数据库就好了。对于目录中的每个项目，这将成功创建一个“入口”对象并将其传递给insertRecord函数。换句话说，问题必须发生在insertRecord部分。但显然这可能是由过程中的某些事件引起的。
• 如果我添加错误处理，没有错误产生。我已经将错误处理留在了这篇文章之外，因为它混淆了代码片段的可读性。

Answer 1

按mongodb2.2 (current latest) documentation，insert已被弃用

DEPRECATED

Use insertOne, insertMany or bulkWrite

那么简单的答案是可能改变collection.insert([entry], ...)到collection.insertOne(entry, ...)，就大功告成了。

---

那么对于长的答案，你说“一百万的JSON文件”，它通常与值得的开销最少的一个完整的异步方法。

有在示例代码2（潜在的）瓶颈：

• fs.readFileSync，这是阻塞操作
• 连接，插入记录和关闭数据库连接

两个执行“大约一百万次”。诚然，导入通常不会一遍又一遍地完成，并且（希望）不会在需要执行其他重要任务的计算机上执行。尽管如此，示例代码可以很容易地变得更加健壮。

考虑使用glob模块获得JSON文件的列表。

glob('imports/**/*.json', function(error, files) {...}) 

这为您提供了异步方式的完整文件列表。

然后考虑连接到数据库只有一次，一切都插入并关闭一次。

维护或多或少你的样品中具有相同的步骤，我建议是这样的：

var glob = require('glob'), 
    mongodb = require('mongodb'), 
    fs = require('fs'), 
    MongoClient = mongodb.MongoClient, 
    mongoDSN = 'mongodb://localhost:27017/my_database_name', 
    collection; // moved this to the "global" scope so we can do it only once 

function insertRecord(json, done) { 
    var recordID = json.recordID || null, 
     recordText = json.recordText || null; 

    // the question implies some kind of validation/sanitation/preparation.. 
    if (recordID && recordText) { 
     // NOTE: insert was changed to insertOne 
     return collection.insertOne({recordID: recordID, recordText: recordText}, done); 
    } 

    done('No recordID and/or recordText'); 
} 

function runOnFile(file, done) { 
    // moved to be async 
    fs.readFile(file, function(error, data) { 
     if (error) { 
      return done(error); 
     } 

     var json = JSON.parse(data); 

     if (!json) { 
      return done('Unable to parse JSON: ' + file); 
     } 

     insertRecord(json, done); 
    }); 
} 

function processFiles(files, done) { 
    var next = files.length ? files.shift() : null; 

    if (next) { 
     return runOnFile(next, function(error) { 
      if (error) { 
       console.error(error); 
       // you may or may not want to stop here by throwing an Error 
      } 

      processFiles(files, done); 
     }); 
    } 

    done(); 
} 

MongoClient.connect(mongoDSN, function(error, db) { 
    if (error) { 
     throw new Error(error); 
    } 

    collection = db.collection('users'); 

    glob('imports/**/*.json', function(error, files) { 
     if (error) { 
      throw new Error(error); 
     } 

     processFiles(files, function() { 
      console.log('all done'); 
      db.close(); 
     }); 
    }); 
}); 

注意：您可以收集多个“入口” -records利用多个插入的性能增益使用insertMany，虽然我感觉插入的记录比描述更复杂，如果处理不正确，它可能会给一些内存问题。

Answer 2

仅仅构造你的数据为对象的一个​​大阵，然后运行db.collection.insertMany。

Answer 3

我建议你这样做使用承诺：

const Bluebird = require('bluebird'); 
const glob = Bluebird.promisify(require('glob')); 
const mongodb = require('mongodb'); 
const fs = Bluebird.promisifyAll(require('fs')); 
const Path = require('path'); 
const MongoClient = mongodb.MongoClient; 

const insertMillionsFromPath = Bluebird.coroutine(function *(path, mongoConnString) { 
    const db = yield MongoClient.connect(mongoConnString); 
    try { 
     const collection = db.collection('users'); 
     const files = yield glob(Path.join(path, "*.json")); 
     yield Bluebird.map(
      files, 
      Bluebird.coroutine(function *(filename) { 
       console.log("reading", filename); 
       const fileContent = yield fs.readFileAsync(filename); 
       const obj = JSON.parse(fileContent); 

       console.log("inserting", filename); 
       yield collection.insertOne(obj); 
      }), 
      {concurrency: 10} // You can increase concurrency here 
     ); 
    } finally { 
     yield db.close(); 
    } 
}); 

insertMillionsFromPath("./myFiles", "mongodb://localhost:27017/database") 
    .then(()=>console.log("OK")) 
    .catch((err)=>console.log("ERROR", err)); 

为了工作，你需要安装以下软件包：

npm install --save mongodb bluebird glob

，你将需要使用节点.js版本6或更高版本，否则您将需要传输您的JavaScript（由于function *()生成器的使用）。