在Python 3.8+中，你可以在while循环中使用.read():

with open("somefile.txt") as f:
    while chunk := f.read(8192):
        do_something(chunk)

当然，你可以使用任何你想要的块大小，你不需要使用8192(2**13)字节。除非你的文件大小恰好是你的块大小的倍数，否则最后一个块将小于你的块大小。

在Python 3.8+中，你可以在while循环中使用.read():

with open("somefile.txt") as f:
    while chunk := f.read(8192):
        do_something(chunk)

当然，你可以使用任何你想要的块大小，你不需要使用8192(2**13)字节。除非你的文件大小恰好是你的块大小的倍数，否则最后一个块将小于你的块大小。

要编写惰性函数，只需使用yield:

def read_in_chunks(file_object, chunk_size=1024):
    """Lazy function (generator) to read a file piece by piece.
    Default chunk size: 1k."""
    while True:
        data = file_object.read(chunk_size)
        if not data:
            break
        yield data


with open('really_big_file.dat') as f:
    for piece in read_in_chunks(f):
        process_data(piece)

另一种选择是使用iter和helper函数:

f = open('really_big_file.dat')
def read1k():
    return f.read(1024)

for piece in iter(read1k, ''):
    process_data(piece)

如果文件是基于行的，那么文件对象已经是一个惰性的行生成器:

for line in open('really_big_file.dat'):
    process_data(line)

参考python的官方文档https://docs.python.org/3/library/functions.html#iter

也许这个方法更python化:

"""A file object returned by open() is a iterator with
read method which could specify current read's block size
"""
with open('mydata.db', 'r') as f_in:
    block_read = partial(f_in.read, 1024 * 1024)
    block_iterator = iter(block_read, '')

    for index, block in enumerate(block_iterator, start=1):
        block = process_block(block)  # process your block data

        with open(f'{index}.txt', 'w') as f_out:
            f_out.write(block)

我也有类似的情况。不清楚你是否知道以字节为单位的块大小;我通常不这样做，但所需要的记录(行)的数量是已知的:

def get_line():
     with open('4gb_file') as file:
         for i in file:
             yield i

lines_required = 100
gen = get_line()
chunk = [i for i, j in zip(gen, range(lines_required))]

更新:谢谢nosklo。这就是我的意思。它几乎工作，除了它丢失了一行“之间”块。

chunk = [next(gen) for i in range(lines_required)]

做的把戏w/o失去任何线条，但它看起来不太好。

如果您的计算机、操作系统和python是64位的，那么您可以使用mmap模块将文件的内容映射到内存中，并使用索引和切片访问它。下面是文档中的一个例子:

import mmap
with open("hello.txt", "r+") as f:
    # memory-map the file, size 0 means whole file
    map = mmap.mmap(f.fileno(), 0)
    # read content via standard file methods
    print map.readline()  # prints "Hello Python!"
    # read content via slice notation
    print map[:5]  # prints "Hello"
    # update content using slice notation;
    # note that new content must have same size
    map[6:] = " world!\n"
    # ... and read again using standard file methods
    map.seek(0)
    print map.readline()  # prints "Hello  world!"
    # close the map
    map.close()

如果你的计算机、操作系统或python是32位的，那么映射大文件会占用你的大部分地址空间，并耗尽程序的内存。