我正在使用Hadoop Mincemeat模块。我认为这是一个值得注意的好例子:

import mincemeat

def mapfn(k,v):
    for w in v:
        yield 'sum',w
        #yield 'count',1


def reducefn(k,v): 
    r1=sum(v)
    r2=len(v)
    print r2
    m=r1/r2
    std=0
    for i in range(r2):
       std+=pow(abs(v[i]-m),2)  
    res=pow((std/r2),0.5)
    return r1,r2,res

在这里，生成器从一个文本文件(最大15GB)中获取数字，并使用Hadoop的map-reduce对这些数字应用简单的数学运算。如果我没有使用yield函数，而是使用一个列表理解，那么计算总和和平均值将花费更长的时间(更不用说空间复杂性了)。

Hadoop是一个很好的例子，可以使用生成器的所有优点。

当从一个可变对象(比如一个列表)创建一个生成器时，请注意生成器将在使用生成器时根据列表的状态进行计算，而不是在创建生成器时:

>>> mylist = ["a", "b", "c"]
>>> gen = (elem + "1" for elem in mylist)
>>> mylist.clear()
>>> for x in gen: print (x)
# nothing

如果你的列表有可能被修改(或者列表中的一个可变对象)，但你需要生成器创建时的状态，你需要使用列表理解。

有时候你可以在itertools中使用tee函数，它会为同一个生成器返回多个迭代器，这些迭代器可以独立使用。

关于内置Python函数的一些注意事项:

如果需要利用任何或全部的短路行为，请使用生成器表达式。这些函数被设计为在已知答案时停止迭代，但是列表推导式必须在调用函数之前计算每个元素。

例如，如果我们有

from time import sleep
def long_calculation(value):
    sleep(1) # for simulation purposes
    return value == 1

然后any([long_calculation(x) for x in range(10)])大约需要10秒，因为long_calculation将为每个x调用，any(long_calculation(x) for x in range(10))只需要大约2秒，因为long_calculation只会在0和1输入时被调用。

当any和all遍历列表理解时，一旦已知答案，它们仍然会停止检查元素的真实性(只要any发现一个真结果，或者all发现一个假结果);然而，与理解所做的实际工作相比，这通常是微不足道的。

生成器表达式当然更节省内存，如果可能的话。使用非短路的min, max和sum (max的计时如图所示)，列表推导会稍微快一些:

$ python -m timeit "max(_ for _ in range(1))"
500000 loops, best of 5: 476 nsec per loop
$ python -m timeit "max([_ for _ in range(1)])"
500000 loops, best of 5: 425 nsec per loop
$ python -m timeit "max(_ for _ in range(100))"
50000 loops, best of 5: 4.42 usec per loop
$ python -m timeit "max([_ for _ in range(100)])"
100000 loops, best of 5: 3.79 usec per loop
$ python -m timeit "max(_ for _ in range(10000))"
500 loops, best of 5: 468 usec per loop
$ python -m timeit "max([_ for _ in range(10000)])"
500 loops, best of 5: 442 usec per loop

我认为大多数答案都忽略了一点。列表推导式基本上创建一个列表并将其添加到堆栈中。在列表对象非常大的情况下，脚本进程将被杀死。在这种情况下，生成器更受欢迎，因为它的值不存储在内存中，而是存储为有状态函数。还有创造速度;列表理解比生成器理解慢

简而言之, 当obj的大小不是很大时，使用列表推导式，否则使用生成器推导式

遍历生成器表达式或列表推导式也会做同样的事情。但是，列表推导式将首先在内存中创建整个列表，而生成器表达式将动态地创建项，因此您可以将其用于非常大的(也是无限的!)序列。