我还没有看到Pool用例的清晰示例。运用,池。apply_async和Pool.map。我主要使用Pool.map;其他人的优势是什么?
当前回答
下面是一个表格格式的概述,以便显示Pool之间的差异。运用,池。apply_async,池。map和Pool.map_async。在选择一个时,你必须考虑多参数、并发性、阻塞和排序:
| Multi-args Concurrence Blocking Ordered-results
---------------------------------------------------------------------
Pool.map | no yes yes yes
Pool.map_async | no yes no yes
Pool.apply | yes no yes no
Pool.apply_async | yes yes no no
Pool.starmap | yes yes yes yes
Pool.starmap_async| yes yes no no
注:
池。imap和Pool。Imap_async - map和map_async的惰性版本。 池。星图方法,非常类似于地图方法,除了它接受多个参数。 异步方法一次性提交所有进程,并在完成后检索结果。使用get方法获取结果。 池。map(或Pool.apply)方法非常类似于Python内置的map(或apply)。它们阻塞主进程,直到所有进程完成并返回结果。
例子:
map
在同一时间内调用一个工作列表
results = pool.map(func, [1, 2, 3])
应用
只能申请一份工作
for x, y in [[1, 1], [2, 2]]:
results.append(pool.apply(func, (x, y)))
def collect_result(result):
results.append(result)
map_async
在同一时间内调用一个工作列表
pool.map_async(func, jobs, callback=collect_result)
apply_async
只能调用一个作业,并在后台并行执行一个作业
for x, y in [[1, 1], [2, 2]]:
pool.apply_async(worker, (x, y), callback=collect_result)
starmap
是pool的一种变体。支持多个参数的映射
pool.starmap(func, [(1, 1), (2, 1), (3, 1)])
starmap_async
starmap()和map_async()的组合,迭代可迭代对象的可迭代对象,并在解包可迭代对象时调用func。返回一个结果对象。
pool.starmap_async(calculate_worker, [(1, 1), (2, 1), (3, 1)], callback=collect_result)
参考:
查看完整的文档:https://docs.python.org/3/library/multiprocessing.html
其他回答
在以前的Python中,要调用带有任意参数的函数,可以使用apply:
apply(f,args,kwargs)
apply在Python2.7中仍然存在,但不在Python3中,并且通常不再使用。如今,
f(*args,**kwargs)
者优先。多处理。Pool modules尝试提供类似的接口。
池。apply类似于Python的apply,除了函数调用是在一个单独的进程中执行。池。应用块,直到函数完成。
池。apply_async也类似于Python的内置apply,只是调用会立即返回,而不是等待结果。返回一个AsyncResult对象。调用它的get()方法来检索函数调用的结果。get()方法阻塞直到函数完成。因此,池。Apply (func, args, kwargs)相当于pool。Apply_async (func, args, kwargs).get()。
与Pool相反。申请,池。Apply_async方法还有一个回调函数,如果提供了它,则在函数完成时调用它。这可以用来代替调用get()。
例如:
import multiprocessing as mp
import time
def foo_pool(x):
time.sleep(2)
return x*x
result_list = []
def log_result(result):
# This is called whenever foo_pool(i) returns a result.
# result_list is modified only by the main process, not the pool workers.
result_list.append(result)
def apply_async_with_callback():
pool = mp.Pool()
for i in range(10):
pool.apply_async(foo_pool, args = (i, ), callback = log_result)
pool.close()
pool.join()
print(result_list)
if __name__ == '__main__':
apply_async_with_callback()
可能会产生这样的结果
[1, 0, 4, 9, 25, 16, 49, 36, 81, 64]
注意,不像pool。映射时,结果的顺序可能与池中的顺序不对应。执行Apply_async调用。
因此,如果需要在单独的进程中运行一个函数,但希望当前进程阻塞直到该函数返回,请使用Pool.apply。像池。运用,池。映射块,直到返回完整的结果。
如果希望工作进程池异步执行许多函数调用,请使用Pool.apply_async。结果的顺序不能保证与Pool.apply_async调用的顺序相同。
还要注意,您可以使用Pool调用许多不同的函数。Apply_async(不是所有调用都需要使用相同的函数)。
相比之下,Pool。Map将相同的函数应用于许多参数。 然而,与Pool不同的是。Apply_async中,结果以与参数的顺序相对应的顺序返回。
关于apply和map:
池。apply(f, args): f只在池中的一个worker中执行。因此,池中的一个进程将运行f(args)。
池。map(f, iterable):该方法将可迭代对象分割成若干块,并将这些块作为单独的任务提交给进程池。因此,您可以利用池中的所有进程。
下面是一个表格格式的概述,以便显示Pool之间的差异。运用,池。apply_async,池。map和Pool.map_async。在选择一个时,你必须考虑多参数、并发性、阻塞和排序:
| Multi-args Concurrence Blocking Ordered-results
---------------------------------------------------------------------
Pool.map | no yes yes yes
Pool.map_async | no yes no yes
Pool.apply | yes no yes no
Pool.apply_async | yes yes no no
Pool.starmap | yes yes yes yes
Pool.starmap_async| yes yes no no
注:
池。imap和Pool。Imap_async - map和map_async的惰性版本。 池。星图方法,非常类似于地图方法,除了它接受多个参数。 异步方法一次性提交所有进程,并在完成后检索结果。使用get方法获取结果。 池。map(或Pool.apply)方法非常类似于Python内置的map(或apply)。它们阻塞主进程,直到所有进程完成并返回结果。
例子:
map
在同一时间内调用一个工作列表
results = pool.map(func, [1, 2, 3])
应用
只能申请一份工作
for x, y in [[1, 1], [2, 2]]:
results.append(pool.apply(func, (x, y)))
def collect_result(result):
results.append(result)
map_async
在同一时间内调用一个工作列表
pool.map_async(func, jobs, callback=collect_result)
apply_async
只能调用一个作业,并在后台并行执行一个作业
for x, y in [[1, 1], [2, 2]]:
pool.apply_async(worker, (x, y), callback=collect_result)
starmap
是pool的一种变体。支持多个参数的映射
pool.starmap(func, [(1, 1), (2, 1), (3, 1)])
starmap_async
starmap()和map_async()的组合,迭代可迭代对象的可迭代对象,并在解包可迭代对象时调用func。返回一个结果对象。
pool.starmap_async(calculate_worker, [(1, 1), (2, 1), (3, 1)], callback=collect_result)
参考:
查看完整的文档:https://docs.python.org/3/library/multiprocessing.html
推荐文章
- 将Pandas或Numpy Nan替换为None以用于MysqlDB
- 使用pandas对同一列进行多个聚合
- 使用Python解析HTML
- django MultiValueDictKeyError错误,我如何处理它
- 如何在for循环期间修改列表条目?
- 我如何在Django中创建一个鼻涕虫?
- 没有名为'django.core.urlresolvers'的模块
- 蟒蛇导出环境文件
- Django - makemigrations -未检测到任何更改
- SQLAlchemy:引擎、连接和会话差异
- 在Python Pandas中删除多个列中的所有重复行
- 更改pandas DataFrame中的特定列名
- 将Pandas多索引转换为列
- 熊猫在每组中获得最高的n个记录
- 熊猫数据帧得到每组的第一行