python中multiprosessing模块的Pool类中的apply函数和apply_async函数的区别

1、二者的区别

apply(): 

• 非异步(子进程不是同时执行的)，堵塞主进程。
• 它的非异步体现在：一个一个按顺序执行子进程, 子进程不是同时执行的。
• 它的堵塞体现在：等到全部子进程都执行完毕后，继续执行apply()后面主进程的代码。

apply_async()：

• 异步的，不堵塞主进程。
• 它的异步体现在：子进程之间是同时执行的。子进程被分配到不同的cpu上被执行。
• 它的非堵塞体现在：他不会等待子进程完全执行完毕, 主进程会继续执行, 他会根据系统调度来进行进程之间的切换。如果想堵塞主要进程，需要用.join()函数来堵塞主进程。

2、apply()

import time
import multiprocessing
def doIt(num):
    print("Process num is : %s" % num)
    time.sleep(1)
    print('process  %s end' % num)

if __name__ == '__main__':
    print('mainProcess start')

    #记录一下开始执行的时间
    start_time = time.time()
    # 创建一个进程池，允许最多可以有3个子进程可以同时执行。
    pool = multiprocessing.Pool(3)

    print('Child start')
    for i in range(3):
         pool.apply(doIt,[i])
    print('mainProcess done time:%s s' % (time.time() - start_time))

结果如下所示：

从结果中我们可以看到，主进程开始执行之后, 创建的三个子进程也随即开始执行, 后面的主进程被阻塞。而且三个子进程是一个接一个按顺序地执行, 等到子进程全部执行完毕之后, 后面的主进程才会继续执行, 打印出最后一句。所以，apply()函数果然是可以堵塞主进程，而且是非异步的。

3、apply_async()

顾名思义，async就是异步的意思。接下来是使用apply_async(), 只需要把上面的代码使用 apply()的地方改成apply_async() 即可, 代码不再贴上
我们来看看运行结果, 可以看出来, 截图的第一句是上一个程序（也就是apply()函数）的执行消耗时间, 
最后一句是使用apply_async()所消耗的时间, 在这里, 主进程没有被阻塞, 验证了apply_async()是非阻塞主进程的, 子进程没有执行, 验证了他是根据系统调度完成的,

为什么会这样呢?

原因是, 进程的切换时操作系统控制的, 我们首先运行的是主进程, 而CPU运行得又很快, 快到还没等系统调度到子线程, 主进程就已经运行完毕了, 并且退出程序. 所以子进程就没有运行了.

那么我们在使用apply_async()函数是不是就不能执行子进程呢？肯定可以啊！！！小老弟，想啥呢？？还记得join()的作用吗？他可以阻塞主进程, 等待所有子进程结束之后再运行,join()就是告诉主进程老子要运行子进程了，你先等等。 

import time
import multiprocessing

def doIt(num):
    print("Process num is : %s" % num)
    time.sleep(1)
    print('process  %s end' % num)
if __name__ == '__main__':
    print('mainProcess start')

    #记录一下开始执行的时间
    start_time = time.time()
    # 创建一个进程池，最大允许3个子进程同时执行。
    pool = multiprocessing.Pool(3)
    print('Child start')
    for i in range(3):
        pool.apply_async(doIt,[i])
    pool.close()
    pool.join()
    print('mainProcess done time:%s s' % (time.time() - start_time))

结果如下所示：

我们看看加入这两句的运行结果, 我们可以看到即使是使用了非阻塞主进程的apply_async() 也能让子进程运行完毕之后再执行主进程了。
CPU在执行第一个子进程的时候, 还没等第一个子进程结束, 系统调度到了按顺序调度到了第二个子进程, 以此类推, 一直调度运行子进程, 一个接一个地结束子进程的运行, 最后运行主进程, 而且我们可以看到使用apply_async()的执行效力会更高,看一下他们各自执行结果最后一句的执行消耗时间就知道了, 这也是官方推荐我们使用apply_async()的主要原因吧

到此这篇关于python中multiprosessing模块的Pool()类中的apply()函数和apply_async()函数的区别的文章就介绍到这了,更多相关python multiprosessing内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

最新评论