在Python 3.8+中，你可以在while循环中使用.read():

with open("somefile.txt") as f:
    while chunk := f.read(8192):
        do_something(chunk)

当然，你可以使用任何你想要的块大小，你不需要使用8192(2**13)字节。除非你的文件大小恰好是你的块大小的倍数，否则最后一个块将小于你的块大小。

由于我的低声誉，我不允许评论，但SilentGhosts解决方案应该更容易与file.readlines([sizehint])

Python文件方法

编辑:SilentGhost是对的，但这应该比:

s = "" 
for i in xrange(100): 
   s += file.next()

要编写惰性函数，只需使用yield:

def read_in_chunks(file_object, chunk_size=1024):
    """Lazy function (generator) to read a file piece by piece.
    Default chunk size: 1k."""
    while True:
        data = file_object.read(chunk_size)
        if not data:
            break
        yield data


with open('really_big_file.dat') as f:
    for piece in read_in_chunks(f):
        process_data(piece)

另一种选择是使用iter和helper函数:

f = open('really_big_file.dat')
def read1k():
    return f.read(1024)

for piece in iter(read1k, ''):
    process_data(piece)

如果文件是基于行的，那么文件对象已经是一个惰性的行生成器:

for line in open('really_big_file.dat'):
    process_data(line)

在Python 3.8+中，你可以在while循环中使用.read():

with open("somefile.txt") as f:
    while chunk := f.read(8192):
        do_something(chunk)

当然，你可以使用任何你想要的块大小，你不需要使用8192(2**13)字节。除非你的文件大小恰好是你的块大小的倍数，否则最后一个块将小于你的块大小。

f = ... # file-like object, i.e. supporting read(size) function and 
        # returning empty string '' when there is nothing to read

def chunked(file, chunk_size):
    return iter(lambda: file.read(chunk_size), '')

for data in chunked(f, 65536):
    # process the data

更新:该方法最好在https://stackoverflow.com/a/4566523/38592中解释

如果您的计算机、操作系统和python是64位的，那么您可以使用mmap模块将文件的内容映射到内存中，并使用索引和切片访问它。下面是文档中的一个例子:

import mmap
with open("hello.txt", "r+") as f:
    # memory-map the file, size 0 means whole file
    map = mmap.mmap(f.fileno(), 0)
    # read content via standard file methods
    print map.readline()  # prints "Hello Python!"
    # read content via slice notation
    print map[:5]  # prints "Hello"
    # update content using slice notation;
    # note that new content must have same size
    map[6:] = " world!\n"
    # ... and read again using standard file methods
    map.seek(0)
    print map.readline()  # prints "Hello  world!"
    # close the map
    map.close()

如果你的计算机、操作系统或python是32位的，那么映射大文件会占用你的大部分地址空间，并耗尽程序的内存。