像我们所有人一样，您也是异步I/O的另一个受害者。对于异步调用，如果你循环了很多文件，Node.js将开始为每个要读取的文件打开一个文件描述符，然后等待操作，直到关闭它。

文件描述符保持打开状态，直到服务器上的资源可用来读取它。即使您的文件很小，读取或更新很快，也需要一些时间，但与此同时，循环不会停止打开新的文件描述符。所以如果你有太多的文件，限制将很快达到，你会得到一个漂亮的EMFILE。

有一个解决方案，创建一个队列来避免这种影响。

感谢编写Async的人，这里有一个非常有用的函数。有一个方法叫做Async。队列，您将创建一个具有限制的新队列，然后将文件名添加到队列中。

注意:如果你必须打开许多文件，最好存储当前打开的文件，不要无限地重新打开它们。

const fs = require('fs')
const async = require("async")

var q = async.queue(function(task, callback) {
    console.log(task.filename);
    fs.readFile(task.filename,"utf-8",function (err, data_read) {
            callback(err,task.filename,data_read);
        }
    );
}, 4);

var files = [1,2,3,4,5,6,7,8,9,10]

for (var file in files) {
    q.push({filename:file+".txt"}, function (err,filename,res) {
        console.log(filename + " read");
    });
}

您可以看到每个文件都被添加到队列(console.log文件名)中，但仅当当前队列低于您之前设置的限制时。

异步。队列通过回调获取关于队列可用性的信息，此回调仅在读取数据文件并且实现必须执行的任何操作时调用。(参见fileRead方法)

所以你不会被文件描述符搞得不知所措。

> node ./queue.js
0.txt
    1.txt
2.txt
0.txt read
3.txt
3.txt read
4.txt
2.txt read
5.txt
4.txt read
6.txt
5.txt read
7.txt
    1.txt read (biggest file than other)
8.txt
6.txt read
9.txt
7.txt read
8.txt read
9.txt read

当graceful-fs不起作用时……或者您只是想了解泄漏从哪里来。遵循这个过程。

(例如，如果你的问题是套接字，优雅-fs不会修复你的马车。)

摘自我的博客文章:http://www.blakerobertson.com/devlog/2014/1/11/how-to-determine-whats-causing-error-connect-emfile-nodejs.html

如何隔离

该命令将输出nodejs进程的打开句柄数:

lsof -i -n -P | grep nodejs

COMMAND     PID    USER   FD   TYPE    DEVICE SIZE/OFF NODE NAME
...
nodejs    12211    root 1012u  IPv4 151317015      0t0  TCP 10.101.42.209:40371->54.236.3.170:80 (ESTABLISHED)
nodejs    12211    root 1013u  IPv4 151279902      0t0  TCP 10.101.42.209:43656->54.236.3.172:80 (ESTABLISHED)
nodejs    12211    root 1014u  IPv4 151317016      0t0  TCP 10.101.42.209:34450->54.236.3.168:80 (ESTABLISHED)
nodejs    12211    root 1015u  IPv4 151289728      0t0  TCP 10.101.42.209:52691->54.236.3.173:80 (ESTABLISHED)
nodejs    12211    root 1016u  IPv4 151305607      0t0  TCP 10.101.42.209:47707->54.236.3.172:80 (ESTABLISHED)
nodejs    12211    root 1017u  IPv4 151289730      0t0  TCP 10.101.42.209:45423->54.236.3.171:80 (ESTABLISHED)
nodejs    12211    root 1018u  IPv4 151289731      0t0  TCP 10.101.42.209:36090->54.236.3.170:80 (ESTABLISHED)
nodejs    12211    root 1019u  IPv4 151314874      0t0  TCP 10.101.42.209:49176->54.236.3.172:80 (ESTABLISHED)
nodejs    12211    root 1020u  IPv4 151289768      0t0  TCP 10.101.42.209:45427->54.236.3.171:80 (ESTABLISHED)
nodejs    12211    root 1021u  IPv4 151289769      0t0  TCP 10.101.42.209:36094->54.236.3.170:80 (ESTABLISHED)
nodejs    12211    root 1022u  IPv4 151279903      0t0  TCP 10.101.42.209:43836->54.236.3.171:80 (ESTABLISHED)
nodejs    12211    root 1023u  IPv4 151281403      0t0  TCP 10.101.42.209:43930->54.236.3.172:80 (ESTABLISHED)
....

注意:1023u(最后一行)——这是第1024个文件句柄，它是默认的最大值。

现在，看看最后一列。指示打开的资源。您可能会看到许多行都具有相同的资源名称。希望现在可以告诉您在代码的哪里查找泄漏。

如果不知道多个节点进程，首先查找哪个进程的pid为12211。它会告诉你整个过程。

在我上面的例子中，我注意到有一堆非常相似的IP地址。他们都是54.236.3分。###通过做ip地址查找，能够确定在我的情况下，它是pubnub相关的。

命令参考

使用此语法确定一个进程有多少个打开句柄…

获取某个pid的打开文件数

我使用这个命令来测试在我的应用程序中执行各种事件后打开的文件数量。

lsof -i -n -P | grep "8465" | wc -l

# lsof -i -n -P | grep "nodejs.*8465" | wc -l
28
# lsof -i -n -P | grep "nodejs.*8465" | wc -l
31
# lsof -i -n -P | grep "nodejs.*8465" | wc -l
34

你的流程限制是什么?

ulimit -a

你想要的线条是这样的:

open files                      (-n) 1024

永久更改限制:

在Ubuntu 14.04, nodejs v. 7.9上测试

如果你希望打开很多连接(websockets就是一个很好的例子)，你可以永久增加限制:

文件:/etc/pam.D /common-session(添加到结尾) 会话需要pam_limits.so 文件:/etc/security/limits.conf(添加到末尾，如果已经存在，则编辑) 根软nofile 40000 根硬nofile 100000 重新启动nodejs，从ssh注销/登录。 这可能不适用于旧的NodeJS，你需要重新启动服务器 如果您的节点使用不同的uid运行，则使用。

请注意，您不必将这个问题过于复杂化，再试一次就可以了。

import { promises as fs } from "fs";

const filepaths = [];
const errors = [];

function process_file(content: string) {
    // logic here
}

await Promise.all(
    filepaths.map(function read_each(filepath) {
        return fs
            .readFile(filepath, "utf8")
            .then(process_file)
            .catch(function (error) {
                if (error.code === "EMFILE") return read_each(filepath);
                else errors.push({ file: filepath, error });
            });
    }),
);

我今天遇到了这个问题，没有找到好的解决方案，我创建了一个模块来解决它。我受到@fbartho的代码片段的启发，但希望避免覆盖fs模块。

我写的模块是Filequeue，你使用它就像fs:

var Filequeue = require('filequeue');
var fq = new Filequeue(200); // max number of files to open at once

fq.readdir('/Users/xaver/Downloads/xaver/xxx/xxx/', function(err, files) {
    if(err) {
        throw err;
    }
    files.forEach(function(file) {
        fq.readFile('/Users/xaver/Downloads/xaver/xxx/xxx/' + file, function(err, data) {
            // do something here
        }
    });
});

这可能发生在更改Node版本之后 ERR emfile太多打开的文件

重新启动计算机 酿造安装看守

它应该完全解决这个问题

在Windows上，似乎没有ulimit命令来增加打开文件的数量。在graceful-fs中，它维护一个队列来运行I/O操作，例如:读/写文件。

然而,fs。readFile, fs。writeFile是基于fs的。打开，因此您需要手动打开/关闭文件来解决此错误。

import fs from 'fs/promises';

const fd = await fs.open('path-to-file', 'r');

await fd.readFile('utf-8'); // <== read through file handle
await fd.close();           // <== manually close it