我真的很欣赏上面的一些答案，遵循@hadley和@Dirk的建议，关闭R并发布源代码，使用命令行，我想出了一个非常适合我的解决方案。我必须处理数百个质谱仪，每个质谱仪占用大约20 Mb的内存，所以我使用了两个R脚本，如下所示:

首先是包装器:

#!/usr/bin/Rscript --vanilla --default-packages=utils

for(l in 1:length(fdir)) {

   for(k in 1:length(fds)) {
     system(paste("Rscript runConsensus.r", l, k))
   }
}

用这个脚本，我基本上控制我的主脚本做什么运行共识。r，然后写出输出的数据答案。这样，每次包装器调用脚本时，似乎会重新打开R并释放内存。

希望能有所帮助。

gData包中的llfunction也可以显示每个对象的内存使用情况。

gdata::ll(unit='MB')

For both speed and memory purposes, when building a large data frame via some complex series of steps, I'll periodically flush it (the in-progress data set being built) to disk, appending to anything that came before, and then restart it. This way the intermediate steps are only working on smallish data frames (which is good as, e.g., rbind slows down considerably with larger objects). The entire data set can be read back in at the end of the process, when all the intermediate objects have been removed.

dfinal <- NULL
first <- TRUE
tempfile <- "dfinal_temp.csv"
for( i in bigloop ) {
    if( !i %% 10000 ) { 
        print( i, "; flushing to disk..." )
        write.table( dfinal, file=tempfile, append=!first, col.names=first )
        first <- FALSE
        dfinal <- NULL   # nuke it
    }

    # ... complex operations here that add data to 'dfinal' data frame  
}
print( "Loop done; flushing to disk and re-reading entire data set..." )
write.table( dfinal, file=tempfile, append=TRUE, col.names=FALSE )
dfinal <- read.table( tempfile )

除了以上回答中给出的更通用的内存管理技术外，我总是尽可能地减小对象的大小。例如，我处理非常大但非常稀疏的矩阵，换句话说，大多数值为零的矩阵。使用“矩阵”包(大写很重要)，我能够将我的平均对象大小从~2GB减小到~200MB，简单如下:

my.matrix <- Matrix(my.matrix)

Matrix包包含的数据格式可以像常规矩阵一样使用(不需要更改其他代码)，但能够更有效地存储稀疏数据，无论是加载到内存中还是保存到磁盘中。

此外，我收到的原始文件是“长”格式的，其中每个数据点都有变量x, y, z, I。将数据转换为只有变量I的x * y * z维度数组更有效。

了解你的数据并使用一些常识。

我使用数据。表方案。使用它的:=运算符，你可以:

通过引用添加列 通过引用修改现有列的子集，通过引用修改组 通过引用删除列

这些操作都不会复制(可能很大的)数据。连一张桌子都没有。

聚合也特别快，因为数据。表使用更少的工作内存。

相关链接:

来自数据的新闻。表，伦敦R展示，2012年 什么时候我应该在data.table中使用:=操作符?

我真的很欣赏上面的一些答案，遵循@hadley和@Dirk的建议，关闭R并发布源代码，使用命令行，我想出了一个非常适合我的解决方案。我必须处理数百个质谱仪，每个质谱仪占用大约20 Mb的内存，所以我使用了两个R脚本，如下所示:

首先是包装器:

#!/usr/bin/Rscript --vanilla --default-packages=utils

for(l in 1:length(fdir)) {

   for(k in 1:length(fds)) {
     system(paste("Rscript runConsensus.r", l, k))
   }
}

用这个脚本，我基本上控制我的主脚本做什么运行共识。r，然后写出输出的数据答案。这样，每次包装器调用脚本时，似乎会重新打开R并释放内存。

希望能有所帮助。