我还没有看到Pool用例的清晰示例。运用,池。apply_async和Pool.map。我主要使用Pool.map;其他人的优势是什么?


当前回答

在以前的Python中,要调用带有任意参数的函数,可以使用apply:

apply(f,args,kwargs)

apply在Python2.7中仍然存在,但不在Python3中,并且通常不再使用。如今,

f(*args,**kwargs)

者优先。多处理。Pool modules尝试提供类似的接口。

池。apply类似于Python的apply,除了函数调用是在一个单独的进程中执行。池。应用块,直到函数完成。

池。apply_async也类似于Python的内置apply,只是调用会立即返回,而不是等待结果。返回一个AsyncResult对象。调用它的get()方法来检索函数调用的结果。get()方法阻塞直到函数完成。因此,池。Apply (func, args, kwargs)相当于pool。Apply_async (func, args, kwargs).get()。

与Pool相反。申请,池。Apply_async方法还有一个回调函数,如果提供了它,则在函数完成时调用它。这可以用来代替调用get()。

例如:

import multiprocessing as mp
import time

def foo_pool(x):
    time.sleep(2)
    return x*x

result_list = []
def log_result(result):
    # This is called whenever foo_pool(i) returns a result.
    # result_list is modified only by the main process, not the pool workers.
    result_list.append(result)

def apply_async_with_callback():
    pool = mp.Pool()
    for i in range(10):
        pool.apply_async(foo_pool, args = (i, ), callback = log_result)
    pool.close()
    pool.join()
    print(result_list)

if __name__ == '__main__':
    apply_async_with_callback()

可能会产生这样的结果

[1, 0, 4, 9, 25, 16, 49, 36, 81, 64]

注意,不像pool。映射时,结果的顺序可能与池中的顺序不对应。执行Apply_async调用。


因此,如果需要在单独的进程中运行一个函数,但希望当前进程阻塞直到该函数返回,请使用Pool.apply。像池。运用,池。映射块,直到返回完整的结果。

如果希望工作进程池异步执行许多函数调用,请使用Pool.apply_async。结果的顺序不能保证与Pool.apply_async调用的顺序相同。

还要注意,您可以使用Pool调用许多不同的函数。Apply_async(不是所有调用都需要使用相同的函数)。

相比之下,Pool。Map将相同的函数应用于许多参数。 然而,与Pool不同的是。Apply_async中,结果以与参数的顺序相对应的顺序返回。

其他回答

在以前的Python中,要调用带有任意参数的函数,可以使用apply:

apply(f,args,kwargs)

apply在Python2.7中仍然存在,但不在Python3中,并且通常不再使用。如今,

f(*args,**kwargs)

者优先。多处理。Pool modules尝试提供类似的接口。

池。apply类似于Python的apply,除了函数调用是在一个单独的进程中执行。池。应用块,直到函数完成。

池。apply_async也类似于Python的内置apply,只是调用会立即返回,而不是等待结果。返回一个AsyncResult对象。调用它的get()方法来检索函数调用的结果。get()方法阻塞直到函数完成。因此,池。Apply (func, args, kwargs)相当于pool。Apply_async (func, args, kwargs).get()。

与Pool相反。申请,池。Apply_async方法还有一个回调函数,如果提供了它,则在函数完成时调用它。这可以用来代替调用get()。

例如:

import multiprocessing as mp
import time

def foo_pool(x):
    time.sleep(2)
    return x*x

result_list = []
def log_result(result):
    # This is called whenever foo_pool(i) returns a result.
    # result_list is modified only by the main process, not the pool workers.
    result_list.append(result)

def apply_async_with_callback():
    pool = mp.Pool()
    for i in range(10):
        pool.apply_async(foo_pool, args = (i, ), callback = log_result)
    pool.close()
    pool.join()
    print(result_list)

if __name__ == '__main__':
    apply_async_with_callback()

可能会产生这样的结果

[1, 0, 4, 9, 25, 16, 49, 36, 81, 64]

注意,不像pool。映射时,结果的顺序可能与池中的顺序不对应。执行Apply_async调用。


因此,如果需要在单独的进程中运行一个函数,但希望当前进程阻塞直到该函数返回,请使用Pool.apply。像池。运用,池。映射块,直到返回完整的结果。

如果希望工作进程池异步执行许多函数调用,请使用Pool.apply_async。结果的顺序不能保证与Pool.apply_async调用的顺序相同。

还要注意,您可以使用Pool调用许多不同的函数。Apply_async(不是所有调用都需要使用相同的函数)。

相比之下,Pool。Map将相同的函数应用于许多参数。 然而,与Pool不同的是。Apply_async中,结果以与参数的顺序相对应的顺序返回。

关于apply和map:

池。apply(f, args): f只在池中的一个worker中执行。因此,池中的一个进程将运行f(args)。

池。map(f, iterable):该方法将可迭代对象分割成若干块,并将这些块作为单独的任务提交给进程池。因此,您可以利用池中的所有进程。

下面是一个表格格式的概述,以便显示Pool之间的差异。运用,池。apply_async,池。map和Pool.map_async。在选择一个时,你必须考虑多参数、并发性、阻塞和排序:

                  | Multi-args   Concurrence    Blocking     Ordered-results
---------------------------------------------------------------------
Pool.map          | no           yes            yes          yes
Pool.map_async    | no           yes            no           yes
Pool.apply        | yes          no             yes          no
Pool.apply_async  | yes          yes            no           no
Pool.starmap      | yes          yes            yes          yes
Pool.starmap_async| yes          yes            no           no

注:

池。imap和Pool。Imap_async - map和map_async的惰性版本。 池。星图方法,非常类似于地图方法,除了它接受多个参数。 异步方法一次性提交所有进程,并在完成后检索结果。使用get方法获取结果。 池。map(或Pool.apply)方法非常类似于Python内置的map(或apply)。它们阻塞主进程,直到所有进程完成并返回结果。

例子:

map

在同一时间内调用一个工作列表

results = pool.map(func, [1, 2, 3])

应用

只能申请一份工作

for x, y in [[1, 1], [2, 2]]:
    results.append(pool.apply(func, (x, y)))

def collect_result(result):
    results.append(result)

map_async

在同一时间内调用一个工作列表

pool.map_async(func, jobs, callback=collect_result)

apply_async

只能调用一个作业,并在后台并行执行一个作业

for x, y in [[1, 1], [2, 2]]:
    pool.apply_async(worker, (x, y), callback=collect_result)

starmap

是pool的一种变体。支持多个参数的映射

pool.starmap(func, [(1, 1), (2, 1), (3, 1)])

starmap_async

starmap()和map_async()的组合,迭代可迭代对象的可迭代对象,并在解包可迭代对象时调用func。返回一个结果对象。

pool.starmap_async(calculate_worker, [(1, 1), (2, 1), (3, 1)], callback=collect_result)

参考:

查看完整的文档:https://docs.python.org/3/library/multiprocessing.html