Node.js的堆内存不足

今天我跑我的文件系统索引刷新RAID文件索引脚本和4h后，用下面的错误崩溃：Node.js的堆内存不足

[md5:] 241613/241627 97.5% 
[md5:] 241614/241627 97.5% 
[md5:] 241625/241627 98.1% 
Creating missing list... (79570 files missing) 
Creating new files list... (241627 new files) 

<--- Last few GCs ---> 

11629672 ms: Mark-sweep 1174.6 (1426.5) -> 1172.4 (1418.3) MB, 659.9/0 ms [allocation failure] [GC in old space requested]. 
11630371 ms: Mark-sweep 1172.4 (1418.3) -> 1172.4 (1411.3) MB, 698.9/0 ms [allocation failure] [GC in old space requested]. 
11631105 ms: Mark-sweep 1172.4 (1411.3) -> 1172.4 (1389.3) MB, 733.5/0 ms [last resort gc]. 
11631778 ms: Mark-sweep 1172.4 (1389.3) -> 1172.4 (1368.3) MB, 673.6/0 ms [last resort gc]. 


<--- JS stacktrace ---> 

==== JS stack trace ========================================= 

Security context: 0x3d1d329c9e59 <JS Object> 
1: SparseJoinWithSeparatorJS(aka SparseJoinWithSeparatorJS) [native array.js:~84] [pc=0x3629ef689ad0] (this=0x3d1d32904189 <undefined>,w=0x2b690ce91071 <JS Array[241627]>,L=241627,M=0x3d1d329b4a11 <JS Function ConvertToString (SharedFunctionInfo 0x3d1d3294ef79)>,N=0x7c953bf4d49 <String[4]\: ,\n >) 
2: Join(aka Join) [native array.js:143] [pc=0x3629ef616696] (this=0x3d1d32904189 <undefin... 

FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory 
1: node::Abort() [/usr/bin/node] 
2: 0xe2c5fc [/usr/bin/node] 
3: v8::Utils::ReportApiFailure(char const*, char const*) [/usr/bin/node] 
4: v8::internal::V8::FatalProcessOutOfMemory(char const*, bool) [/usr/bin/node] 
5: v8::internal::Factory::NewRawTwoByteString(int, v8::internal::PretenureFlag) [/usr/bin/node] 
6: v8::internal::Runtime_SparseJoinWithSeparator(int, v8::internal::Object**, v8::internal::Isolate*) [/usr/bin/node] 
7: 0x3629ef50961b

服务器配备了16GB的RAM和24GB SSD交换。我非常怀疑我的剧本超过36GB的记忆。至少它不应该

脚本创建存储为文件元数据对象的数组文件的索引（修改日期，权限等，没有什么大的数据）

下面是完整的脚本代码： http://pastebin.com/mjaD76c3

我已经经历过奇怪的节点问题，这个剧本强迫我如此。将索引拆分为多个文件，因为在处理像String这样的大文件时节点出现故障。有没有什么方法可以用巨大的数据集改善nodejs内存管理？

来源

2016-07-25 Lapsio

如果我没有记错的话，对于1.7 GB左右的V8内存使用情况有一个严格的标准限制，如果你不手动增加它的话。

在我们的产品中，我们遵循我们的部署脚本此解决方案：

node --max-old-space-size=4096 yourFile.js

有也将是一个新的空间的命令，但我在这里阅读：a-tour-of-v8-garbage-collection新的空间只收集新创建的短期长期数据和旧空间包含所有引用的数据结构，这些数据结构应该是您的最佳选择。

来源

2016-07-25 05:29:12 Felix

如何设置全局？ – aufula

你不能@aufula –

如果我使用Express框架，在哪里设置？ – Simer

我试图用VSCode进行调试时遇到了这个问题，所以只想添加这个就是你可以添加参数到你的调试设置。

您可以将其添加到launch.json的配置的runtimeArgs属性中。

请参阅下面的示例。

{ 
"version": "0.2.0", 
"configurations": [{ 
     "type": "node", 
     "request": "launch", 
     "name": "Launch Program", 
     "program": "${workspaceRoot}\\server.js" 
    }, 
    { 
     "type": "node", 
     "request": "launch", 
     "name": "Launch Training Script", 
     "program": "${workspaceRoot}\\training-script.js", 
     "runtimeArgs": [ 
      "--max-old-space-size=4096" 
     ] 
    } 
]}

来源

2017-06-20 01:26:22

即使在设置--max-old-space-size之后，我仍然为此苦苦挣扎。

然后我意识到需要将选项--max-old-space-size放在业障脚本之前。

也最好--max岁的空间尺寸同时指定语法和--max_old_space_size我的脚本因缘：

node --max-old-space-size=8192 --optimize-for-size --max-executable-size=8192 --max_old_space_size=8192 --optimize_for_size --max_executable_size=8192 node_modules/karma/bin/karma start --single-run --max_new_space_size=8192 --prod --aot

参考https://github.com/angular/angular-cli/issues/1652

来源

2017-06-22 08:43:33 duchuy

FWIW，发现和修复内存猪用像memwatch可能会有所帮助。

来源

2017-06-30 16:00:23 NathanQ

-2

尝试运行此命令：

npm rebuild grpc

来源

2017-12-22 06:13:42 Chandru

这并没有真正回答这个问题。如果您有不同的问题，可以通过单击[提问]（https://stackoverflow.com/questions/ask）来提问。您可以[添加赏金]（https://stackoverflow.com/help/privileges/set-bounties）在您拥有足够的[声誉]（https://stackoverflow.com/help/）后吸引更多关注此问题什么声誉）。 - [来自评论]（/ review/low-quality-posts/18328757） – Rabbid76

节点升级到最新版本。我在6.6节点出现这个错误，并升级到8.9.4，问题就消失了。

来源

2018-01-12 07:01:03

Node.js的堆内存不足

回答

相关问题