几天来，我一直在寻找一个有效的错误解决方案
错误:EMFILE，打开的文件太多
似乎很多人都有同样的问题。通常的答案是增加文件描述符的数量。所以，我试过了:
sysctl -w kern.maxfiles=20480
缺省值为10240。在我看来，这有点奇怪，因为我在目录中处理的文件数量低于10240。更奇怪的是，在增加了文件描述符的数量之后，我仍然收到相同的错误。
第二个问题:
经过多次搜索，我找到了一个解决“打开文件太多”问题的方法:
var requestBatches = {};
function batchingReadFile(filename, callback) {
// First check to see if there is already a batch
if (requestBatches.hasOwnProperty(filename)) {
requestBatches[filename].push(callback);
return;
}
// Otherwise start a new one and make a real request
var batch = requestBatches[filename] = [callback];
FS.readFile(filename, onRealRead);
// Flush out the batch on complete
function onRealRead() {
delete requestBatches[filename];
for (var i = 0, l = batch.length; i < l; i++) {
batch[i].apply(null, arguments);
}
}
}
function printFile(file){
console.log(file);
}
dir = "/Users/xaver/Downloads/xaver/xxx/xxx/"
var files = fs.readdirSync(dir);
for (i in files){
filename = dir + files[i];
console.log(filename);
batchingReadFile(filename, printFile);
不幸的是，我仍然收到相同的错误。
这段代码有什么问题?
以下是我的观点:考虑到CSV文件只是几行文本，我已经流化了数据(字符串)以避免这个问题。
在我的用例中最简单的解决方案。
它可以与优雅fs或标准fs一起使用。请注意，在创建文件时，文件中不会有头文件。
// import graceful-fs or normal fs
const fs = require("graceful-fs"); // or use: const fs = require("fs")
// Create output file and set it up to receive streamed data
// Flag is to say "append" so that data can be recursively added to the same file
let fakeCSV = fs.createWriteStream("./output/document.csv", {
flags: "a",
});
和数据，需要流到文件我已经这样做了
// create custom streamer that can be invoked when needed
const customStreamer = (dataToWrite) => {
fakeCSV.write(dataToWrite + "\n");
};
注意，dataToWrite只是一个带有自定义分隔符“;”或“，”的字符串。
即。
const dataToWrite = "batman" + ";" + "superman"
customStreamer(dataToWrite);
这将向文件写入“batman;superman”。
请注意，在这个示例中没有错误捕获或其他任何东西。
文档:https://nodejs.org/api/fs.html # fs_fs_createwritestream_path_options
我今天遇到了这个问题，没有找到好的解决方案，我创建了一个模块来解决它。我受到@fbartho的代码片段的启发，但希望避免覆盖fs模块。
我写的模块是Filequeue，你使用它就像fs:
var Filequeue = require('filequeue');
var fq = new Filequeue(200); // max number of files to open at once
fq.readdir('/Users/xaver/Downloads/xaver/xxx/xxx/', function(err, files) {
if(err) {
throw err;
}
files.forEach(function(file) {
fq.readFile('/Users/xaver/Downloads/xaver/xxx/xxx/' + file, function(err, data) {
// do something here
}
});
});
我自己刚刚写了一小段代码来解决这个问题，所有其他的解决方案看起来都太重量级了，需要你改变程序结构。
这个解决方案只是暂停任何f。readFile或fs。writeFile调用，以便在任何给定时间运行的次数不超过设定的数目。
// Queuing reads and writes, so your nodejs script doesn't overwhelm system limits catastrophically
global.maxFilesInFlight = 100; // Set this value to some number safeish for your system
var origRead = fs.readFile;
var origWrite = fs.writeFile;
var activeCount = 0;
var pending = [];
var wrapCallback = function(cb){
return function(){
activeCount--;
cb.apply(this,Array.prototype.slice.call(arguments));
if (activeCount < global.maxFilesInFlight && pending.length){
console.log("Processing Pending read/write");
pending.shift()();
}
};
};
fs.readFile = function(){
var args = Array.prototype.slice.call(arguments);
if (activeCount < global.maxFilesInFlight){
if (args[1] instanceof Function){
args[1] = wrapCallback(args[1]);
} else if (args[2] instanceof Function) {
args[2] = wrapCallback(args[2]);
}
activeCount++;
origRead.apply(fs,args);
} else {
console.log("Delaying read:",args[0]);
pending.push(function(){
fs.readFile.apply(fs,args);
});
}
};
fs.writeFile = function(){
var args = Array.prototype.slice.call(arguments);
if (activeCount < global.maxFilesInFlight){
if (args[1] instanceof Function){
args[1] = wrapCallback(args[1]);
} else if (args[2] instanceof Function) {
args[2] = wrapCallback(args[2]);
}
activeCount++;
origWrite.apply(fs,args);
} else {
console.log("Delaying write:",args[0]);
pending.push(function(){
fs.writeFile.apply(fs,args);
});
}
};
