我写了一个Python程序,它作用于一个大的输入文件,以创建数百万个表示三角形的对象。算法为:
读取输入文件 处理该文件并创建一个三角形列表,由它们的顶点表示 以OFF格式输出顶点:顶点列表后面跟着三角形列表。三角形由顶点列表中的索引表示
OFF要求我在打印三角形之前打印出完整的顶点列表,这意味着在我将输出写入文件之前,我必须将三角形列表保存在内存中。与此同时,由于列表的大小,我得到了内存错误。
告诉Python我不再需要某些数据,并且可以释放这些数据的最佳方式是什么?
我写了一个Python程序,它作用于一个大的输入文件,以创建数百万个表示三角形的对象。算法为:
读取输入文件 处理该文件并创建一个三角形列表,由它们的顶点表示 以OFF格式输出顶点:顶点列表后面跟着三角形列表。三角形由顶点列表中的索引表示
OFF要求我在打印三角形之前打印出完整的顶点列表,这意味着在我将输出写入文件之前,我必须将三角形列表保存在内存中。与此同时,由于列表的大小,我得到了内存错误。
告诉Python我不再需要某些数据,并且可以释放这些数据的最佳方式是什么?
当前回答
Python是垃圾回收的,所以如果你减少列表的大小,它会回收内存。你也可以使用"del"语句完全摆脱一个变量:
biglist = [blah,blah,blah]
#...
del biglist
其他回答
如果您不关心顶点重用,您可以有两个输出文件——一个用于顶点,一个用于三角形。完成后,将三角形文件附加到顶点文件。
不幸的是(取决于你的Python版本和发行版),某些类型的对象使用“自由列表”,这是一种简洁的局部优化,但可能会导致内存碎片,特别是通过将越来越多的内存“指定”给特定类型的对象,从而无法用于“普通基金”。
The only really reliable way to ensure that a large but temporary use of memory DOES return all resources to the system when it's done, is to have that use happen in a subprocess, which does the memory-hungry work then terminates. Under such conditions, the operating system WILL do its job, and gladly recycle all the resources the subprocess may have gobbled up. Fortunately, the multiprocessing module makes this kind of operation (which used to be rather a pain) not too bad in modern versions of Python.
在您的用例中,似乎子进程积累一些结果并确保这些结果对主进程可用的最佳方法是使用半临时文件(我所说的半临时是指,不是那种关闭时自动消失的文件,而是在您全部使用完后显式删除的普通文件)。
正如其他答案已经说过的,Python可以避免释放内存给操作系统,即使Python代码不再使用内存(因此gc.collect()不会释放任何东西),特别是在长时间运行的程序中。无论如何,如果您在Linux上,您可以尝试通过直接调用libc函数malloc_trim(手册页)来释放内存。 喜欢的东西:
import ctypes
libc = ctypes.CDLL("libc.so.6")
libc.malloc_trim(0)
(del可以成为你的朋友,因为当没有其他引用时,它将对象标记为可删除。现在,CPython解释器通常会保留这个内存以供以后使用,所以您的操作系统可能看不到“释放”的内存。)
通过对数据使用更紧凑的结构,也许一开始就不会遇到内存问题。 因此,与标准数组模块或第三方numpy模块使用的格式相比,数字列表的内存效率要低得多。您可以通过将顶点放在NumPy 3xN数组中,将三角形放在n元素数组中来节省内存。
根据Python官方文档,你可以显式调用gc.collect()来释放未引用的内存。例子:
import gc
gc.collect()
你应该在使用del标记你想丢弃的东西后这样做:
del my_array
del my_object
gc.collect()