我有一个非常大的4GB文件，当我试图读取它时，我的电脑挂了。 所以我想一块一块地读取它，在处理每一块之后，将处理过的一块存储到另一个文件中，然后读取下一块。
有什么方法可以生产这些碎片吗?
我喜欢有一个懒惰的方法。
当前回答
由于我的低声誉，我不允许评论，但SilentGhosts解决方案应该更容易与file.readlines([sizehint])
Python文件方法
编辑:SilentGhost是对的，但这应该比:
s = ""
for i in xrange(100):
s += file.next()
其他回答
要编写惰性函数，只需使用yield:
def read_in_chunks(file_object, chunk_size=1024):
"""Lazy function (generator) to read a file piece by piece.
Default chunk size: 1k."""
while True:
data = file_object.read(chunk_size)
if not data:
break
yield data
with open('really_big_file.dat') as f:
for piece in read_in_chunks(f):
process_data(piece)
另一种选择是使用iter和helper函数:
f = open('really_big_file.dat')
def read1k():
return f.read(1024)
for piece in iter(read1k, ''):
process_data(piece)
如果文件是基于行的，那么文件对象已经是一个惰性的行生成器:
for line in open('really_big_file.dat'):
process_data(line)
我认为我们可以这样写:
def read_file(path, block_size=1024):
with open(path, 'rb') as f:
while True:
piece = f.read(block_size)
if piece:
yield piece
else:
return
for piece in read_file(path):
process_piece(piece)
如果您的计算机、操作系统和python是64位的，那么您可以使用mmap模块将文件的内容映射到内存中，并使用索引和切片访问它。下面是文档中的一个例子:
import mmap
with open("hello.txt", "r+") as f:
# memory-map the file, size 0 means whole file
map = mmap.mmap(f.fileno(), 0)
# read content via standard file methods
print map.readline() # prints "Hello Python!"
# read content via slice notation
print map[:5] # prints "Hello"
# update content using slice notation;
# note that new content must have same size
map[6:] = " world!\n"
# ... and read again using standard file methods
map.seek(0)
print map.readline() # prints "Hello world!"
# close the map
map.close()
如果你的计算机、操作系统或python是32位的，那么映射大文件会占用你的大部分地址空间，并耗尽程序的内存。
我也有类似的情况。不清楚你是否知道以字节为单位的块大小;我通常不这样做，但所需要的记录(行)的数量是已知的:
def get_line():
with open('4gb_file') as file:
for i in file:
yield i
lines_required = 100
gen = get_line()
chunk = [i for i, j in zip(gen, range(lines_required))]
更新:谢谢nosklo。这就是我的意思。它几乎工作，除了它丢失了一行“之间”块。
chunk = [next(gen) for i in range(lines_required)]
做的把戏w/o失去任何线条，但它看起来不太好。
在Python 3.8+中，你可以在while循环中使用.read():
with open("somefile.txt") as f:
while chunk := f.read(8192):
do_something(chunk)
当然，你可以使用任何你想要的块大小，你不需要使用8192(2**13)字节。除非你的文件大小恰好是你的块大小的倍数，否则最后一个块将小于你的块大小。
