Node.js堆内存不足

今天，我运行了文件系统索引的脚本来刷新RAID文件索引，4h后它崩溃了，出现以下错误:

[md5:]  241613/241627 97.5%  
[md5:]  241614/241627 97.5%  
[md5:]  241625/241627 98.1%
Creating missing list... (79570 files missing)
Creating new files list... (241627 new files)

<--- Last few GCs --->

11629672 ms: Mark-sweep 1174.6 (1426.5) -> 1172.4 (1418.3) MB, 659.9 / 0 ms [allocation failure] [GC in old space requested].
11630371 ms: Mark-sweep 1172.4 (1418.3) -> 1172.4 (1411.3) MB, 698.9 / 0 ms [allocation failure] [GC in old space requested].
11631105 ms: Mark-sweep 1172.4 (1411.3) -> 1172.4 (1389.3) MB, 733.5 / 0 ms [last resort gc].
11631778 ms: Mark-sweep 1172.4 (1389.3) -> 1172.4 (1368.3) MB, 673.6 / 0 ms [last resort gc].


<--- JS stacktrace --->

==== JS stack trace =========================================

Security context: 0x3d1d329c9e59 <JS Object>
1: SparseJoinWithSeparatorJS(aka SparseJoinWithSeparatorJS) [native array.js:~84] [pc=0x3629ef689ad0] (this=0x3d1d32904189 <undefined>,w=0x2b690ce91071 <JS Array[241627]>,L=241627,M=0x3d1d329b4a11 <JS Function ConvertToString (SharedFunctionInfo 0x3d1d3294ef79)>,N=0x7c953bf4d49 <String[4]\: ,\n  >)
2: Join(aka Join) [native array.js:143] [pc=0x3629ef616696] (this=0x3d1d32904189 <undefin...

FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory
 1: node::Abort() [/usr/bin/node]
 2: 0xe2c5fc [/usr/bin/node]
 3: v8::Utils::ReportApiFailure(char const*, char const*) [/usr/bin/node]
 4: v8::internal::V8::FatalProcessOutOfMemory(char const*, bool) [/usr/bin/node]
 5: v8::internal::Factory::NewRawTwoByteString(int, v8::internal::PretenureFlag) [/usr/bin/node]
 6: v8::internal::Runtime_SparseJoinWithSeparator(int, v8::internal::Object**, v8::internal::Isolate*) [/usr/bin/node]
 7: 0x3629ef50961b

服务器配置16gb RAM和24gb SSD交换盘。我非常怀疑我的脚本内存超过了36gb。至少不应该是这样

脚本创建文件索引存储为对象数组与文件元数据(修改日期，权限等，没有大数据)

以下是完整的脚本代码: http://pastebin.com/mjaD76c3

我已经经历了奇怪的节点问题在过去与这个脚本迫使我eg。分割索引到多个文件作为节点是故障时，工作在这样的大文件字符串。对于庞大的数据集，有什么方法可以改善nodejs的内存管理吗?

当前回答

Unix (Mac OS)

打开一个终端，使用nano打开我们的.zshrc文件，就像这样(这将创建一个，如果不存在的话): 纳米~ / . zshrc 通过在当前打开的.zshrc文件中添加以下行来更新NODE_OPTIONS环境变量: ——max-old-space-size=8192 #增加节点内存限制

请注意，我们可以设置传入的兆字节数，只要我们的系统有足够的内存(这里我们传入8192兆字节，大约是8 GB)。

保存并退出nano，按:ctrl + x，然后y同意，最后进入保存更改。关闭并重新打开终端，以确保我们的更改已被识别。我们可以打印出.zshrc文件的内容，看看我们的更改是否像这样保存:

Linux (Ubuntu)

打开终端，使用nano打开.bashrc文件，如下所示: 纳米~ / . bashrc

其余步骤与上面的Mac步骤类似，只是我们很可能使用~/。Bashrc(与~/.zshrc相反)。所以这些值需要被替换!

链接到Nodejs文档

2022-02-14 05:30:29

其他回答

为了防止人们在使用产生大量日志记录的nodejs应用程序时遇到这个问题，一位同事通过将标准输出管道到一个文件来解决这个问题。

2018-04-04 08:39:00

我在做AOT角构建时也遇到了类似的问题。听从命令帮助了我。

npm install -g increase-memory-limit
increase-memory-limit

来源:https://geeklearning.io/angular-aot-webpack-memory-trick/

2018-07-31 11:52:53

如果你想更改节点(windows)的全局内存，请进入高级系统设置->环境变量->新用户变量

variable name = NODE_OPTIONS
variable value = --max-old-space-size=4096

2019-09-23 14:38:18

如果你试图启动的不是node本身，而是一些其他的软件，例如webpack，你可以使用环境变量和cross-env包:

$ cross-env NODE_OPTIONS='--max-old-space-size=4096' \
  webpack --progress --config build/webpack.config.dev.js

2019-04-30 01:50:53

我今天也遇到了同样的问题。对我来说，问题是，我试图在我的NextJS项目的数据库中导入大量数据。

所以我所做的是，我像这样安装win-node-env包:

yarn add win-node-env

因为我的开发机器是Windows。我在本地安装，而不是在全球安装。你也可以像这样全局安装它:yarn global add win-node-env

然后在包装中。我的NextJS项目的json文件，我添加了另一个启动脚本，像这样:

"dev_more_mem": "NODE_OPTIONS=\"--max_old_space_size=8192\" next dev"

在这里，我传递节点选项，即。设置8GB为上限。我的包裹。Json文件看起来像这样:

{
  "name": "my_project_name_here",
  "version": "1.0.0",
  "private": true,
  "scripts": {
    "dev": "next dev",
    "dev_more_mem": "NODE_OPTIONS=\"--max_old_space_size=8192\" next dev",
    "build": "next build",
    "lint": "next lint"
  },
  ......
}

然后我这样运行它:

yarn dev_more_mem

对我来说，我只在我的开发机器上遇到了这个问题(因为我正在导入大数据)。因此有了这个解决方案。我想分享一下，因为它可能对其他人有用。

2022-03-08 21:44:26

Node.js堆内存不足

推荐文章

最新文章

标签