第370次迭代后异步等待循环停止

Question

我试图在块中加载一个大的csv文件（GB的大小）。代码如下：

lineReader.open(filename,async function(err, reader) { 
    if (err) throw err; 
    var dataArr=[]; 
    while (reader.hasNextLine()) { 
    reader.nextLine(function(err, line) { 
     if(err) throw err; 
     console.log(line); 
     dataArr.push(csv_parse(line,headers)); 
    }); 
    console.log(dataArr.length); 
    if(dataArr.length == 3000){ 
     console.log(JSON.stringify(dataArr)); 
     await timeout(6000); 
     console.log("timeout"); 
     dataArr = []; 
    } 
    } 
    reader.close(function(err) { 
     if (err) throw err; 
    }); 
}); 

即使执行while循环，reader.nextline（）在370行后停止工作。然而，当我移动等待代码似乎工作正常。这是为什么发生。

Answer 1

您在混合承诺（async/await）和回调（reader.nextLine()），这会导致您的问题。

具体而言，您打电话reader.close()太早，因为它在所有行被读取之前被调用;可以读取的370行可能适合从文件读取之前从文件中读取的缓冲区。

一个解决办法是也使读出下一行承诺为基础的，比如像这样：

const getNextLine = async reader => { 
    return new Promise((resolve, reject) => { 
    reader.nextLine(function(err, line) { 
     if (err) return reject(err); 
     resolve(line); 
    }); 
    }); 
} 

lineReader.open(filename, async function(err, reader) { 
    if (err) throw err; 
    var dataArr = []; 
    while (reader.hasNextLine()) { 
    let line = await getNextLine(reader); 
    dataArr.push(csv_parse(line, headers)); 
    console.log(dataArr.length); 
    if (dataArr.length == 3000) { 
     console.log(JSON.stringify(dataArr)); 
     await timeout(6000); 
     console.log("timeout"); 
     dataArr = []; 
    } 
    } 
    reader.close(function(err) { 
    if (err) throw err; 
    }); 
});