python进程池和线程池的区别

 更新时间:2023年12月10日 11:43:34   作者:乐神来了  
本文主要介绍了python进程池和线程池的区别,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

线程池和多线程的区别:

线程池可以减少线程创建和销毁的开销,并控制并发数量,从而提高系统的性能。多线程可以并发执行程序中的不同任务,提高程序的效率和系统的吞吐量。
如果需要同时处理多个任务并且这些任务之间没有依赖关系,那么可以选择多线程;如果需要限制同时执行的任务数量或者需要复用线程来避免频繁创建和销毁线程的开销或者当需要执行的任务数量很大但是每个任务所需的时间较短并且执行时间相对稳定,那么可以选择线程池。

进程池和多进程的区别:

如果你需要同时执行多个不同的任务,使用多进程;如果你需要并行处理多个任务,并且每个任务都是独立的,那么多进程会是一个不错的选择。每个进程都有自己的内存空间和独立的 CPU 时间,可以避免多个任务之间的相互干扰。
如果你需要限制并发执行任务的数量,使用进程池。如果你的任务数比较大,而且每个任务执行时间较短,那么进程池可能更适合。进程池会预先创建一定数量的进程,任务到来时就将其分配给空闲的进程执行,避免反复创建和销毁进程的开销。

线程池的使用:

from concurrent.futures import ThreadPoolExecutor, as_completed, wait, ALL_COMPLETED


def test(a):
    print(f'一个假的进程任务{a}')
    return a

def add_thread():
    threads_list = [i for i in range(10)]
    th_executor = ThreadPoolExecutor(max_workers=10)
    for i in threads_list:
        # 线程池执行任务方法1
        th_executor.submit(test, i)
    # 线程池执行任务方法2
    th_executor.map(test, threads_list)

    # 线程池获取结果方法1:使用as_completed方法,然后用其result属性输出结果
    all_thread = [th_executor.submit(test, i) for i in threads_list]
    results1 = [j.result() for j in as_completed(all_thread)]
    print('result1结果:', results1)
	# result1结果: [3, 0, 2, 4, 1, 5, 6, 8, 9, 7]

    # 线程池获取结果方法2
    results2 = [k for k in th_executor.map(test, threads_list)]
    print('results2结果:', results2)
    # results2结果: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

    # 也可以使用等待函数,fs:任务序列;timeout任务最大等待时间,在规定时间内,任务未执行完成也会停止;
    # return_when:wait返回结果的条件,默认为ALL_COMPLETED,全部执行完成再返回
    # 譬如,此处以下的代码是展示wait的用法
    # task_list = th_executor.map(test, threads_list)
    # 等待任务完成
    # wait(task_list)
    # 任务完成之后再进行结果的获取
    # task_result = [k for k in task_list]


if __name__ == '__main__':

    add_thread()


由result1结果和result2结果可知,使用submit方法执行任务的顺序是不固定的,使用map方法执行任务的顺序是固定的。

进程池的用法:和线程池是一样的;进程池用的是with方法去展示的,也可以用线程池的那种方法是使用,当然线程池的也可以用with方法去使用。

from concurrent.futures import ProcessPoolExecutor, as_completed, wait, ALL_COMPLETED

def test(a):
    print(f'一个假的线程任务{a}')
    return a

def add_process():
    with ProcessPoolExecutor(max_workers=8) as pool:
        process_list = [i for i in range(10)]
        for i in process_list:
            # 进程池执行任务方法1
            pool.submit(test, i)
        # 进程池执行任务方法2
        pool.map(test, process_list)

        # 进程池获取结果方法1:使用as_completed方法,然后用其result属性输出结果
        all_process = [pool.submit(test, i) for i in process_list]
        results1 = [j.result() for j in as_completed(all_process)]
        print('result1结果:', results1)
        # results1结果: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

        # 进程池获取结果方法2
        results2 = [k for k in pool.map(test, process_list)]
        print('results2结果:', results2)
    	# results2结果: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

        # 也可以使用等待函数,fs:任务序列;timeout任务最大等待时间,在规定时间内,任务未执行完成也会停止;
        # return_when:wait返回结果的条件,默认为ALL_COMPLETED,全部执行完成再返回
        # 譬如,此处是展示wait的用法
        # task_list = pool.map(test, process_list)
        # # 等待任务完成
        # wait(task_list)
        # # 任务完成之后再进行结果的获取
        # task_result = [k for k in task_list]



if __name__ == '__main__':

    add_process()

由result1结果和result2结果可知,使用submit方法执行任务的顺序和使用map方法执行任务的顺序都是固定的。

到此这篇关于python进程池和线程池的区别的文章就介绍到这了,更多相关python进程池和线程池内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • python之ImportError:模块引入异常问题

    python之ImportError:模块引入异常问题

    这篇文章主要介绍了python之ImportError:模块引入异常问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-06-06
  • python中__call__内置函数用法实例

    python中__call__内置函数用法实例

    这篇文章主要介绍了python中__call__内置函数用法,实例分析了python中__call__内置函数的原理与使用技巧,需要的朋友可以参考下
    2015-06-06
  • python单测框架之pytest常见用法

    python单测框架之pytest常见用法

    pytest是python的单测框架,使用灵活,插件丰富,本文给大家分享python单测框架之pytest常见用法包括pytest常见的插件,感兴趣的朋友跟随小编一起看看吧
    2021-08-08
  • Python判断空的五种方法

    Python判断空的五种方法

    本文介绍了多种在Python中判断变量是否为空的方法,包括if语句、len()函数、not关键字、bool()函数和try...except语句等,具有一档的参考价值,感兴趣的可以了解一下
    2024-12-12
  • CAPL与Python交互的实现

    CAPL与Python交互的实现

    CAPL能做超级多的功能,本文主要介绍了CAPL与Python交互的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-05-05
  • Python标准库与第三方库详解

    Python标准库与第三方库详解

    这篇文章主要介绍了Python标准库与第三方库,需要的朋友可以参考下
    2014-07-07
  • Python脚本后台运行的五种方式

    Python脚本后台运行的五种方式

    最近需要在后台运行脚本,本文主要介绍了Python脚本后台运行的五种方式,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-02-02
  • 使用 Flask、Celery 和 Python 实现每月定时任务的步骤

    使用 Flask、Celery 和 Python 实现每月定时任务的步骤

    下面给大家分享使用 Flask、Celery 和 Python 实现每月定时任务的步骤,本文分步骤结合脚本给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧
    2024-08-08
  • 基于logstash实现日志文件同步elasticsearch

    基于logstash实现日志文件同步elasticsearch

    这篇文章主要介绍了基于logstash实现日志文件同步elasticsearch,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-08-08
  • python实现数通设备端口监控示例

    python实现数通设备端口监控示例

    这篇文章主要介绍了python实现数通设备端口监控示例,需要的朋友可以参考下
    2014-04-04

最新评论