不能pickle <type 'instancemethod'>当使用多处理Pool.map()

我试图使用multiprocessing的Pool.map()函数来同时划分工作。当我使用以下代码时，它工作得很好:

import multiprocessing

def f(x):
    return x*x

def go():
    pool = multiprocessing.Pool(processes=4)        
    print pool.map(f, range(10))


if __name__== '__main__' :
    go()

然而，当我在更面向对象的方法中使用它时，它就不起作用了。它给出的错误信息是:

PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup
__builtin__.instancemethod failed

这发生时，以下是我的主程序:

import someClass

if __name__== '__main__' :
    sc = someClass.someClass()
    sc.go()

下面是我的someClass类:

import multiprocessing

class someClass(object):
    def __init__(self):
        pass

    def f(self, x):
        return x*x

    def go(self):
        pool = multiprocessing.Pool(processes=4)       
        print pool.map(self.f, range(10))

有人知道问题是什么吗，或者有什么简单的解决方法吗?

当前回答

为什么不使用单独的函数?

def func(*args, **kwargs):
    return inst.method(args, kwargs)

print pool.map(func, arr)

2018-05-17 14:33:11

其他回答

你也可以在someClass()中定义__call__()方法，该方法调用someClass.go()，然后将someClass()的一个实例传递给池。这个对象是可pickle的，它工作得很好(为我)…

class someClass(object):
   def __init__(self):
       pass
   def f(self, x):
       return x*x

   def go(self):
      p = Pool(4)
      sc = p.map(self, range(4))
      print sc

   def __call__(self, x):   
     return self.f(x)

sc = someClass()
sc.go()

2017-01-31 14:18:07

为什么不使用单独的函数?

def func(*args, **kwargs):
    return inst.method(args, kwargs)

print pool.map(func, arr)

2018-05-17 14:33:11

问题是，多进程必须pickle对象，以便在进程之间悬挂它们，而绑定的方法是不可pickle的。解决方法(不管您是否认为它“简单”;-)是将基础设施添加到程序中，以允许对此类方法进行pickle，将其注册到copy_reg标准库方法中。

例如，Steven Bethard对这个线程的贡献(接近线程的末尾)展示了一个通过copy_reg允许方法pickle / unpickle的完美可行的方法。

2009-11-29 22:16:14

甚至不需要安装完整的悲情包。

实际上，唯一需要的包是dill (pip install dill)，然后用dill覆盖多处理Pickler:

dill.Pickler.dumps, dill.Pickler.loads = dill.dumps, dill.loads
multiprocessing.reduction.ForkingPickler = dill.Pickler
multiprocessing.reduction.dump = dill.dump

这个答案来自https://stackoverflow.com/a/69253561/10686785

2022-09-02 07:51:14

你也可以在someClass()中定义__call__()方法，该方法调用someClass.go()，然后将someClass()的一个实例传递给池。这个对象是可pickle的，它工作得很好(为我)…

2011-08-07 20:40:35

不能pickle <type 'instancemethod'>当使用多处理Pool.map()

推荐文章

最新文章

标签