我真的很欣赏上面的一些答案，遵循@hadley和@Dirk的建议，关闭R并发布源代码，使用命令行，我想出了一个非常适合我的解决方案。我必须处理数百个质谱仪，每个质谱仪占用大约20 Mb的内存，所以我使用了两个R脚本，如下所示:

首先是包装器:

#!/usr/bin/Rscript --vanilla --default-packages=utils

for(l in 1:length(fdir)) {

   for(k in 1:length(fds)) {
     system(paste("Rscript runConsensus.r", l, k))
   }
}

用这个脚本，我基本上控制我的主脚本做什么运行共识。r，然后写出输出的数据答案。这样，每次包装器调用脚本时，似乎会重新打开R并释放内存。

希望能有所帮助。

基于@德克和@托尼的回答，我做了一个小小的更新。结果是在漂亮的大小值之前输出[1]，所以我取出了捕获。解决问题的输出:

.ls.objects <- function (pos = 1, pattern, order.by,
                     decreasing=FALSE, head=FALSE, n=5) {
napply <- function(names, fn) sapply(names, function(x)
    fn(get(x, pos = pos)))
names <- ls(pos = pos, pattern = pattern)
obj.class <- napply(names, function(x) as.character(class(x))[1])
obj.mode <- napply(names, mode)
obj.type <- ifelse(is.na(obj.class), obj.mode, obj.class)
obj.prettysize <- napply(names, function(x) {
    format(utils::object.size(x),  units = "auto") })
obj.size <- napply(names, utils::object.size)

obj.dim <- t(napply(names, function(x)
    as.numeric(dim(x))[1:2]))
vec <- is.na(obj.dim)[, 1] & (obj.type != "function")
obj.dim[vec, 1] <- napply(names, length)[vec]
out <- data.frame(obj.type, obj.size, obj.prettysize, obj.dim)
names(out) <- c("Type", "Size", "PrettySize", "Rows", "Columns")
if (!missing(order.by))
    out <- out[order(out[[order.by]], decreasing=decreasing), ]
if (head)
    out <- head(out, n)

return(out)
}

# shorthand
lsos <- function(..., n=10) {
    .ls.objects(..., order.by="Size", decreasing=TRUE, head=TRUE, n=n)
}

lsos()

I'm fortunate and my large data sets are saved by the instrument in "chunks" (subsets) of roughly 100 MB (32bit binary). Thus I can do pre-processing steps (deleting uninformative parts, downsampling) sequentially before fusing the data set. Calling gc () "by hand" can help if the size of the data get close to available memory. Sometimes a different algorithm needs much less memory. Sometimes there's a trade off between vectorization and memory use. compare: split & lapply vs. a for loop. For the sake of fast & easy data analysis, I often work first with a small random subset (sample ()) of the data. Once the data analysis script/.Rnw is finished data analysis code and the complete data go to the calculation server for over night / over weekend / ... calculation.

除了以上回答中给出的更通用的内存管理技术外，我总是尽可能地减小对象的大小。例如，我处理非常大但非常稀疏的矩阵，换句话说，大多数值为零的矩阵。使用“矩阵”包(大写很重要)，我能够将我的平均对象大小从~2GB减小到~200MB，简单如下:

my.matrix <- Matrix(my.matrix)

Matrix包包含的数据格式可以像常规矩阵一样使用(不需要更改其他代码)，但能够更有效地存储稀疏数据，无论是加载到内存中还是保存到磁盘中。

此外，我收到的原始文件是“长”格式的，其中每个数据点都有变量x, y, z, I。将数据转换为只有变量I的x * y * z维度数组更有效。

了解你的数据并使用一些常识。

我使用数据。表方案。使用它的:=运算符，你可以:

通过引用添加列 通过引用修改现有列的子集，通过引用修改组 通过引用删除列

这些操作都不会复制(可能很大的)数据。连一张桌子都没有。

聚合也特别快，因为数据。表使用更少的工作内存。

相关链接:

来自数据的新闻。表，伦敦R展示，2012年 什么时候我应该在data.table中使用:=操作符?

这是个好把戏。

另一个建议是尽可能使用内存效率高的对象:例如，使用矩阵而不是data.frame。

这并没有真正解决内存管理问题，但是一个不为人所知的重要函数是memory.limit()。可以使用memory.limit(size=2500)命令增加默认值，这里的大小以MB为单位。正如Dirk提到的，为了真正利用这一点，您需要使用64位。