Node.js堆内存不足

今天，我运行了文件系统索引的脚本来刷新RAID文件索引，4h后它崩溃了，出现以下错误:

[md5:]  241613/241627 97.5%  
[md5:]  241614/241627 97.5%  
[md5:]  241625/241627 98.1%
Creating missing list... (79570 files missing)
Creating new files list... (241627 new files)

<--- Last few GCs --->

11629672 ms: Mark-sweep 1174.6 (1426.5) -> 1172.4 (1418.3) MB, 659.9 / 0 ms [allocation failure] [GC in old space requested].
11630371 ms: Mark-sweep 1172.4 (1418.3) -> 1172.4 (1411.3) MB, 698.9 / 0 ms [allocation failure] [GC in old space requested].
11631105 ms: Mark-sweep 1172.4 (1411.3) -> 1172.4 (1389.3) MB, 733.5 / 0 ms [last resort gc].
11631778 ms: Mark-sweep 1172.4 (1389.3) -> 1172.4 (1368.3) MB, 673.6 / 0 ms [last resort gc].


<--- JS stacktrace --->

==== JS stack trace =========================================

Security context: 0x3d1d329c9e59 <JS Object>
1: SparseJoinWithSeparatorJS(aka SparseJoinWithSeparatorJS) [native array.js:~84] [pc=0x3629ef689ad0] (this=0x3d1d32904189 <undefined>,w=0x2b690ce91071 <JS Array[241627]>,L=241627,M=0x3d1d329b4a11 <JS Function ConvertToString (SharedFunctionInfo 0x3d1d3294ef79)>,N=0x7c953bf4d49 <String[4]\: ,\n  >)
2: Join(aka Join) [native array.js:143] [pc=0x3629ef616696] (this=0x3d1d32904189 <undefin...

FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory
 1: node::Abort() [/usr/bin/node]
 2: 0xe2c5fc [/usr/bin/node]
 3: v8::Utils::ReportApiFailure(char const*, char const*) [/usr/bin/node]
 4: v8::internal::V8::FatalProcessOutOfMemory(char const*, bool) [/usr/bin/node]
 5: v8::internal::Factory::NewRawTwoByteString(int, v8::internal::PretenureFlag) [/usr/bin/node]
 6: v8::internal::Runtime_SparseJoinWithSeparator(int, v8::internal::Object**, v8::internal::Isolate*) [/usr/bin/node]
 7: 0x3629ef50961b

服务器配置16gb RAM和24gb SSD交换盘。我非常怀疑我的脚本内存超过了36gb。至少不应该是这样

脚本创建文件索引存储为对象数组与文件元数据(修改日期，权限等，没有大数据)

以下是完整的脚本代码: http://pastebin.com/mjaD76c3

我已经经历了奇怪的节点问题在过去与这个脚本迫使我eg。分割索引到多个文件作为节点是故障时，工作在这样的大文件字符串。对于庞大的数据集，有什么方法可以改善nodejs的内存管理吗?

当前回答

如果内存或RAM有限，则执行以下命令。

的发球 --源映射=假

它将能够启动应用程序。在我的例子中，它需要16gb内存。但我可以用8gb内存运行。

2021-06-08 16:18:01

其他回答

所有这些答案都不适合我(我没有尝试更新npm)。

我的程序使用了两个数组。一个是在JSON上解析的，另一个是根据第一个上的数据生成的。在第二个循环之前，我只需要将第一个JSON解析数组设置为[]。

这样就释放了大量的内存，允许程序继续执行而不会在某个时候内存分配失败。

干杯!

2022-12-20 20:03:49

我只是想补充一点，在一些系统中，即使使用——max-old-space-size来增加节点内存限制，这也是不够的，而且会出现这样的操作系统错误:

terminate called after throwing an instance of 'std::bad_alloc'
  what():  std::bad_alloc
Aborted (core dumped)

在这种情况下，可能是因为您达到了每个进程的最大mmap。

可以通过运行命令查看max_map_count

sysctl vm.max_map_count

并通过跑步来增加它

sysctl -w vm.max_map_count=655300

并通过添加这一行来修复它，使其在重新启动后不被重置

vm.max_map_count=655300

在/etc/sysctl.conf文件中。

点击这里查看更多信息。

分析误差的一个很好的方法是用strace运行该过程

strace node --max-old-space-size=128000 my_memory_consuming_process.js

2020-01-26 23:55:59

为了防止任何人在不能直接设置节点属性的环境中遇到这个问题(在我的情况下是构建工具):

NODE_OPTIONS="--max-old-space-size=4096" node ...

如果不能在命令行上传递节点选项，则可以使用环境变量设置节点选项。

2018-09-18 15:55:15

修复此问题的步骤(在Windows) -

打开命令提示符，输入%appdata%按enter键导航到%appdata% > npm文件夹打开或编辑ng。在您最喜欢的编辑器中的CMD 在IF和ELSE块中添加——max_old_space_size=8192

你的节点。修改后的CMD文件如下所示:

@IF EXIST "%~dp0\node.exe" (
  "%~dp0\node.exe" "--max_old_space_size=8192" "%~dp0\node_modules\@angular\cli\bin\ng" %*
) ELSE (
  @SETLOCAL
  @SET PATHEXT=%PATHEXT:;.JS;=;%
  node "--max_old_space_size=8192" "%~dp0\node_modules\@angular\cli\bin\ng" %*
)

2018-10-19 05:30:03

我在做AOT角构建时也遇到了类似的问题。听从命令帮助了我。

npm install -g increase-memory-limit
increase-memory-limit

来源:https://geeklearning.io/angular-aot-webpack-memory-trick/

2018-07-31 11:52:53

Node.js堆内存不足

推荐文章

最新文章

标签