python中的多cpu并行编程

 更新时间:2022年05月17日 10:25:31   作者:toforu  
这篇文章主要介绍了python中的多cpu并行编程,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

多cpu并行编程

  • python多线程只能算并发,因为它智能使用一个cpu内核
  • python下pp包支持多cpu并行计算

安装

pip install pp

使用

#-*- coding: UTF-8 -*-
import math, sys, time
import pp
def IsPrime(n):
    """返回n是否是素数"""
    if not isinstance(n, int):
        raise TypeError("argument passed to is_prime is not of 'int' type")
    if n < 2:
        return False
    if n == 2:
        return True
    max = int(math.ceil(math.sqrt(n)))
    i = 2
    while i <= max:
        if n % i == 0:
            return False
        i += 1
    return True
def SumPrimes(n):
    for i in xrange(15):
        sum([x for x in xrange(2,n) if IsPrime(x)])
    """计算从2-n之间的所有素数之和"""
    return sum([x for x in xrange(2,n) if IsPrime(x)])
inputs = (100000, 100100, 100200, 100300, 100400, 100500, 100600, 100700)
# start_time = time.time()
# for input in inputs:
#     print SumPrimes(input)
# print '单线程执行,总耗时', time.time() - start_time, 's'
# # tuple of all parallel python servers to connect with
ppservers = ()
#ppservers = ("10.0.0.1",)
if len(sys.argv) > 1:
    ncpus = int(sys.argv[1])
    # Creates jobserver with ncpus workers
    job_server = pp.Server(ncpus, ppservers=ppservers)
else:
    # Creates jobserver with automatically detected number of workers
    job_server = pp.Server(ppservers=ppservers)
print "pp 可以用的工作核心线程数", job_server.get_ncpus(), "workers"
start_time = time.time()
jobs = [(input, job_server.submit(SumPrimes,(input,), (IsPrime,), ("math",))) for input in inputs]#submit提交任务
for input, job in jobs:
    print "Sum of primes below", input, "is", job()# job()获取方法执行结果
print "多线程下执行耗时: ", time.time() - start_time, "s"
job_server.print_stats()#输出执行信息

执行结果

pp 可以用的工作核心线程数 4 workers
Sum of primes below 100000 is 454396537
Sum of primes below 100100 is 454996777
Sum of primes below 100200 is 455898156
Sum of primes below 100300 is 456700218
Sum of primes below 100400 is 457603451
Sum of primes below 100500 is 458407033
Sum of primes below 100600 is 459412387
Sum of primes below 100700 is 460217613
多线程下执行耗时:  15.4971420765 s
Job execution statistics:
 job count | % of all jobs | job time sum | time per job | job server
         8 |        100.00 |      60.9828 |     7.622844 | local
Time elapsed since server creation 15.4972219467
0 active tasks, 4 cores

submit 函数定义

def submit(self, func, args=(), depfuncs=(), modules=(),
        callback=None, callbackargs=(), group='default', globals=None):
    """Submits function to the execution queue
 
        func - function to be executed  执行的方法
        args - tuple with arguments of the 'func' 方法传入的参数,使用元组
        depfuncs - tuple with functions which might be called from 'func' 传入自己写的方法 ,元组
        modules - tuple with module names to import  传入 模块
        callback - callback function which will be called with argument
                list equal to callbackargs+(result,)
                as soon as calculation is done
        callbackargs - additional arguments for callback function
        group - job group, is used when wait(group) is called to wait for
        jobs in a given group to finish
        globals - dictionary from which all modules, functions and classes
        will be imported, for instance: globals=globals()
    """

多核cpu并行计算

  • 多进程实现并行计算的简单示例
  • 这里我们开两个进程,计算任务也简洁明了
# 多进程
import multiprocessing as mp
def job(q, a, b):
    print('aaa')
    q.put(a**1000+b*1000)  # 把计算结果放到队列
# 多进程
if __name__ == '__main__':
    q = mp.Queue()  # 一个队列
    p1 = mp.Process(target=job, args=(q, 100, 200))
    p2 = mp.Process(target=job, args=(q, 100, 200))
    p1.start()
    p1.join()
    # print(p1.ident)
    p2.start()
    p2.join()
    res = q.get() + q.get()  # 读取队列,这里面保存了两次计算得到的结果
    print('result:', res)

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • python判断、获取一张图片主色调的2个实例

    python判断、获取一张图片主色调的2个实例

    一幅图片,想通过程序判断获得其主要色调,应该怎么样处理?本文通过python实现判断、获取一张图片的主色调方法,需要的朋友可以参考下
    2014-04-04
  • 探索Python中zoneinfo模块处理时区操作实例

    探索Python中zoneinfo模块处理时区操作实例

    这篇文章主要为大家介绍了探索Python中zoneinfo模块的用法实例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2024-01-01
  • python算法深入理解风控中的KS原理

    python算法深入理解风控中的KS原理

    这篇文章主要为大家介绍了python算法深入理解风控中的KS原理解析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2021-11-11
  • YOLOv5中SPP/SPPF结构源码详析(内含注释分析)

    YOLOv5中SPP/SPPF结构源码详析(内含注释分析)

    其实关于YOLOv5的网络结构其实网上相关的讲解已经有很多了,但是觉着还是有必要再给大家介绍下,下面这篇文章主要给大家介绍了关于YOLOv5中SPP/SPPF结构源码的相关资料,需要的朋友可以参考下
    2022-05-05
  • Python 基于Selenium实现动态网页信息的爬取

    Python 基于Selenium实现动态网页信息的爬取

    本文主要介绍了通过Selenium和webdrive等库,对动态网页的信息进行爬取。文中的示例代码非常详细,感兴趣的同学快来跟随小编一起学习吧
    2021-12-12
  • python tkinter Entry控件的焦点移动操作

    python tkinter Entry控件的焦点移动操作

    这篇文章主要介绍了python tkinter Entry控件的焦点移动操作,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-05-05
  • Python冲顶大会 快来答题!

    Python冲顶大会 快来答题!

    直播答题冲顶大会,你玩了吗?本文为大家分享了10道Python测试题,你答对1道算我输
    2018-01-01
  • 最小公倍数Python实现的方法例子

    最小公倍数Python实现的方法例子

    这篇文章介绍了两种计算最小公倍数的方法:辗转相除法(欧几里德法)和相减法(更相减损法),这两种方法分别基于求最大公约数的不同原理,需要的朋友可以参考下
    2024-11-11
  • Python装饰器的函数式编程详解

    Python装饰器的函数式编程详解

    本文向大家详细介绍了Python装饰器的函数式编程的相关资料,需要的朋友可以参考下
    2015-02-02
  • Pandas 中的 drop_duplicates()详解

    Pandas 中的 drop_duplicates()详解

    Pandas 中的 drop_duplicates() 函数用于从 DataFrame 中删除重复的行,该函数有一些参数,允许你进行不同方式的重复行处理,本文给大家介绍Pandas 中的 drop_duplicates(),感兴趣的朋友跟随小编一起看看吧
    2023-09-09

最新评论