import hashlib,re
opened = open('/home/parrot/pass.txt','r')
opened = open.readlines()
for i in opened:
    strip1 = i.strip('\n')
    hash_object = hashlib.md5(strip1.encode())
    hash2 = hash_object.hexdigest()
    print hash2

你需要以合适大小的块读取文件:

def md5_for_file(f, block_size=2**20):
    md5 = hashlib.md5()
    while True:
        data = f.read(block_size)
        if not data:
            break
        md5.update(data)
    return md5.digest()

注意:确保你用'rb'打开你的文件-否则你会得到错误的结果。

所以要在一种方法中完成所有的事情-使用如下的方法:

def generate_file_md5(rootdir, filename, blocksize=2**20):
    m = hashlib.md5()
    with open( os.path.join(rootdir, filename) , "rb" ) as f:
        while True:
            buf = f.read(blocksize)
            if not buf:
                break
            m.update( buf )
    return m.hexdigest()

上面的更新是基于Frerich Raabe提供的评论——我测试了一下，发现在我的Python 2.7.2 Windows安装上是正确的

我用jacksum工具反复核对了结果。

jacksum -a md5 <filename>

如果不阅读完整的内容，就无法获得它的md5。但是您可以使用update函数逐块读取文件的内容。

m.update(一个);M.update (b)等价于M.update (a+b)。

以下是我对Piotr Czapla方法的看法:

def md5sum(filename):
    md5 = hashlib.md5()
    with open(filename, 'rb') as f:
        for chunk in iter(lambda: f.read(128 * md5.block_size), b''):
            md5.update(chunk)
    return md5.hexdigest()

我不确定这里是不是有点太小题大做了。我最近在MySQL中遇到了md5和文件存储为blob的问题，所以我尝试了各种文件大小和简单的Python方法，即:

FileHash = hashlib.md5(FileData).hexdigest()

在2 KB到20 MB的文件大小范围内，我没有检测到任何明显的性能差异，因此不需要“块”散列。无论如何，如果Linux必须转到磁盘上，它可能至少会做得和普通程序员避免这样做的能力一样好。碰巧的是，这个问题与md5无关。如果您正在使用MySQL，不要忘记已经存在的md5()和sha1()函数。

Python < 3.7

import hashlib

def checksum(filename, hash_factory=hashlib.md5, chunk_num_blocks=128):
    h = hash_factory()
    with open(filename,'rb') as f: 
        for chunk in iter(lambda: f.read(chunk_num_blocks*h.block_size), b''): 
            h.update(chunk)
    return h.digest()

Python 3.8及以上版本

import hashlib

def checksum(filename, hash_factory=hashlib.md5, chunk_num_blocks=128):
    h = hash_factory()
    with open(filename,'rb') as f: 
        while chunk := f.read(chunk_num_blocks*h.block_size): 
            h.update(chunk)
    return h.digest()

最初的发布

如果你想要一个更Pythonic (no while True)的方式读取文件，检查下面的代码:

import hashlib

def checksum_md5(filename):
    md5 = hashlib.md5()
    with open(filename,'rb') as f: 
        for chunk in iter(lambda: f.read(8192), b''): 
            md5.update(chunk)
    return md5.digest()

请注意，iter()函数需要一个空字节字符串，以便返回的迭代器在EOF处停止，因为read()返回b "(不仅仅是")。