0
我正在处理一个政治竞选捐款的数据集，该数据集最终成为一个大约500MB的JSON文件（最初是一个124MB CSV）。在Firebase网络界面导入（尝试崩溃Google Chrome上的标签之前）太大了。我试图手动上传对象，因为它们是从CSV制作的（使用CSVtoJSON转换器，每一行都成为JSON对象，然后我会将该对象上传到Firebase）。将大量数据导入Firebase数据库的正确方法是什么？
这是我使用的代码。
var firebase = require('firebase');
var Converter = require("csvtojson").Converter;
firebase.initializeApp({
serviceAccount: "./credentials.json",
databaseURL: "url went here"
});
var converter = new Converter({
constructResult:false,
workerNum:4
});
var db = firebase.database();
var ref = db.ref("/");
var lastindex = 0;
var count = 0;
var section = 0;
var sectionRef;
converter.on("record_parsed",function(resultRow,rawRow,rowIndex){
if (rowIndex >= 0) {
sectionRef = ref.child("reports" + section);
var reportRef = sectionRef.child(resultRow.Report_ID);
reportRef.set(resultRow);
console.log("Report uploaded, count at " + count + ", section at " + section);
count += 1;
lastindex = rowIndex;
if (count >= 1000) {
count = 0;
section += 1;
}
if (section >= 100) {
console.log("last completed index: " + lastindex);
process.exit();
}
} else {
console.log("we out of indices");
process.exit();
}
});
var readStream=require("fs").createReadStream("./vUPLOAD_MASTER.csv");
readStream.pipe(converter);
但是，这会遇到内存问题并且无法完成数据集。由于Firebase没有显示上传的所有数据，因此试图以大块的方式执行操作并不可行，而且我也不确定从哪里离开。 （当离开火力地堡数据库在Chrome中打开，我看到的数据进来，但最终的标签会崩溃，并在重装了很多后来的数据的缺失。）
然后我用Firebase Streaming Import试过，但抛出这个错误：
started at 1469471482.77
Traceback (most recent call last):
File "import.py", line 90, in <module>
main(argParser.parse_args())
File "import.py", line 20, in main
for prefix, event, value in parser:
File "R:\Python27\lib\site-packages\ijson\common.py", line 65, in parse
for event, value in basic_events:
File "R:\Python27\lib\site-packages\ijson\backends\python.py", line 185, in basic_parse
for value in parse_value(lexer):
File "R:\Python27\lib\site-packages\ijson\backends\python.py", line 127, in parse_value
raise UnexpectedSymbol(symbol, pos)
ijson.backends.python.UnexpectedSymbol: Unexpected symbol u'\ufeff' at 0
迎向了那最后一行（从ijson错误），我发现this SO thread，但我只是不知道我应该如何使用它来获取火力地堡流导入工作。
我删除使用议会从JSON文件，我要上传的字节顺序标记，现在我一分钟左右的时间里运行的进口商得到这个错误：
Traceback (most recent call last):
File "import.py", line 90, in <module>
main(argParser.parse_args())
File "import.py", line 20, in main
for prefix, event, value in parser:
File "R:\Python27\lib\site-packages\ijson\common.py", line 65, in parse
for event, value in basic_events:
File "R:\Python27\lib\site-packages\ijson\backends\python.py", line 185, in basic_parse
for value in parse_value(lexer):
File "R:\Python27\lib\site-packages\ijson\backends\python.py", line 116, in parse_value
for event in parse_array(lexer):
File "R:\Python27\lib\site-packages\ijson\backends\python.py", line 138, in parse_array
for event in parse_value(lexer, symbol, pos):
File "R:\Python27\lib\site-packages\ijson\backends\python.py", line 119, in parse_value
for event in parse_object(lexer):
File "R:\Python27\lib\site-packages\ijson\backends\python.py", line 170, in parse_object
pos, symbol = next(lexer)
File "R:\Python27\lib\site-packages\ijson\backends\python.py", line 51, in Lexer
buf += data
MemoryError
的火力地堡流进口商应该能够处理250MB以上的文件，并且我相当肯定我有足够的内存来处理这个文件。任何想法为什么这个错误出现？
如果看到实际的JSON文件，我尝试使用Firebase Streaming Import上传会有所帮助，here it is。