Python使用multiprocessing实现多进程

更新时间：2025年07月21日 09:35:04 作者：黑鹿022

当我们工作中涉及到处理大量数据、并行计算或并发任务时,Python的multiprocessing模块是一个强大而实用的工具,在本文中,我们将探索如何使用multiprocessing模块实现多进程编程,将介绍进程池的概念和用法,需要的朋友可以参考下

一、进程概念

进程（Process）是资源分配的最小单位，它是操作系统进行资源分配和调度运行的基本单位，通俗理解：一个正在运行的程序就是一个进程。

注：一个程序运行后至少有一个进程

二、python多进程

在python中使用多进程我们需要导入 multiprocessing 模块

import multiprocessing

实例演示：

我们先定义两个函数，然后创建子进程去调用它们

import time

def mission1(n):
    for i in range(1, n + 1):
        print(f'第{i}次执行任务一。')
        time.sleep(0.2)


def mission2(n):
    for i in range(1, n + 1):
        print(f"第{i}次执行任务二。")
        time.sleep(0.2)

每个函数每次循环都sleep 0.2秒目的是为了之后演示进程之间是同步执行的情况，否则程序运行太快没办法体现。

我们先试着直接调用它们：

mission1(5)
mission2(5)
"""
结果：
第1次执行任务一。
第2次执行任务一。
第3次执行任务一。
第4次执行任务一。
第5次执行任务一。
第1次执行任务二。
第2次执行任务二。
第3次执行任务二。
第4次执行任务二。
第5次执行任务二。
"""

结果：先执行了mission1 再执行了mission2

子进程依赖于父进程创建，因而我们要创建两个子进程，那么必须在父进程里面去创建。
python运行文件的时候会创建一个主进程也就是 MainProcess，因而我们必须在main里面去操作子进程：

if __name__ == '__main__':
		pass

接着我们创建子进程对象：

if __name__ == '__main__':
    p1 = multiprocessing.Process(target=mission1,  args=(5,))
    p2 = multiprocessing.Process(target=mission2,  kwargs={'n': 5})

multiprocessing.Process(group=None, target=None, name=None, args=(), kwargs={}) ：
target—表示调用对象，即子进程要执行的任务（回调函数入口地址）
args—表示以元组的形式向子任务函数传参，元组方式传参一定要和参数的顺序保持一致
kwargs—表示以字典的方式给子任务函数传参，字典方式传参字典中的key要和参数名保持一致
name—为子进程的名称

进程运行：

p1.start()
p2.start()

完整代码：

import multiprocessing

import time

def mission1(n):
    for i in range(1, n + 1):
        print(f'第{i}次执行任务一。')
        time.sleep(0.2)


def mission2(n):
    for i in range(1, n + 1):
        print(f"第{i}次执行任务二。")
        time.sleep(0.2)


if __name__ == '__main__':
    p1 = multiprocessing.Process(target=mission1,  args=(5,)) # 注意单元素的元组格式
    p2 = multiprocessing.Process(target=mission2,  kwargs={'n': 5})

    p1.start()
    p2.start()
 
"""
结果：
第1次执行任务一。
第1次执行任务二。
第2次执行任务一。
第2次执行任务二。
第3次执行任务一。
第3次执行任务二。
第4次执行任务一。
第4次执行任务二。
第5次执行任务一。
第5次执行任务二。
"""

结果显示：两个函数在两个子进程中同时执行。（每次执行顺序可能有略微差别）

获取进程信息

current_process()

获取当前进程的信息：name(进程名称) 和 pid (进程ID)

def mission1(user, n):
    print(f"mission-1子进程：{multiprocessing.current_process().name}")
    print(f"mission-1子进程ID：{multiprocessing.current_process().pid}")
    for i in range(1, n + 1):
        print(f"用户{user}正在第{i}次执行任务一。")
        time.sleep(0.2)

OS 模块

可以使用os模块中的getpid()获取当前进程的ID 以及 getppid()获取当前进程的父进程ID。

import os
def mission2(user, n):
    print(f"mission-2子进程：{multiprocessing.current_process().name}")
    print(f"mission-2子进程ID：{os.getpid()}")
    print(f"mission-2子进程的父进程为：{os.getppid()}")
    for i in range(1, n + 1):
        print(f"用户{user}正在第{i}次执行任务二。")
        time.sleep(0.2)

完整代码：

import multiprocessing
import time
import os


def mission1(user, n):
    print(f"mission-1子进程：{multiprocessing.current_process().name}")
    print(f"mission-1子进程ID：{multiprocessing.current_process().pid}")
    print(f"mission-1子进程的父进程为：{os.getppid()}")
    for i in range(1, n + 1):
        print(f"用户{user}正在第{i}次执行任务一。")
        time.sleep(0.2)


def mission2(user, n):
    print(f"mission-2子进程：{multiprocessing.current_process().name}")
    print(f"mission-2子进程ID：{os.getpid()}")
    print(f"mission-2子进程的父进程为：{os.getppid()}")
    for i in range(1, n + 1):
        print(f"用户{user}正在第{i}次执行任务二。")
        time.sleep(0.2)

if __name__ == '__main__':
    print(f"主进程的ID为：{multiprocessing.current_process().pid}")
    print(f"主进程的父进程ID为：{os.getppid()}")
    print(f'--------主进程{multiprocessing.current_process().name}开始执行--------')

    p1=multiprocessing.Process(target=mission1,name='mission-1',args=('张三',5))
    p2=multiprocessing.Process(target=mission2,name='mission-2',args=('李四',5))

    p1.start()
    p2.start()
"""
主进程的ID为：7500
主进程的父进程ID为：39284
--------主进程MainProcess开始执行--------
mission-2子进程：mission-2
mission-2子进程ID：40552
mission-2子进程的父进程为：7500
用户李四正在第1次执行任务二。
mission-1子进程：mission-1
mission-1子进程ID：46296
mission-1子进程的父进程为：7500
用户张三正在第1次执行任务一。
用户李四正在第2次执行任务二。
用户张三正在第2次执行任务一。
用户李四正在第3次执行任务二。
用户张三正在第3次执行任务一。
用户李四正在第4次执行任务二。
用户张三正在第4次执行任务一。
用户李四正在第5次执行任务二。
用户张三正在第5次执行任务一。

"""

两个子进程的父ID是相同的就是MainProcess这个主进程的ID

三、进程特点

多进程之间不会共享全局变量
主进程会默认等待子进程结束而结束但可以通过设置来让子进程跟着主进程结束而结束

正常情况：

import multiprocessing
import time

def mission1(user, n):
    for i in range(1, n + 1):
        print(f"用户{user}正在第{i}次执行任务一。")
        time.sleep(0.1)

if __name__ == '__main__':
    print(f'--------主进程{multiprocessing.current_process().name}开始执行--------')
    p1 = multiprocessing.Process(target=mission1, name='mission-1', args=('张三', 5))
    p1.start()
    time.sleep(0.4) # 让主进程多执行一会儿
    print(f'----------主进程:{multiprocessing.current_process().name}最后一行代码执行完毕---------')

"""
--------主进程MainProcess开始执行--------
用户张三正在第1次执行任务一。
用户张三正在第2次执行任务一。
----------主进程:MainProcess最后一行代码执行完毕---------
用户张三正在第3次执行任务一。
用户张三正在第4次执行任务一。
用户张三正在第5次执行任务一。
"""

正常情况下，主进程（最后一行代码执行完了）仍然会等待子进程(p1 mission-1)执行完毕.

使用守护进程或者终止进程

import multiprocessing
import time


def mission1(user, n):
    for i in range(1, n + 1):
        print(f"用户{user}正在第{i}次执行任务一。")
        time.sleep(0.1)


if __name__ == '__main__':
    print(f'--------主进程{multiprocessing.current_process().name}开始执行--------')

    p1 = multiprocessing.Process(target=mission1, name='mission-1', args=('张三', 5))
    # 方式1: 开启子进程前提前设置守护主进程
    p1.daemon = True
    p1.start()
    time.sleep(0.4)  # 让主进程多执行一会儿
    # p1.terminate()
    print(f'----------主进程:{multiprocessing.current_process().name}最后一行代码执行完毕---------')

"""
--------主进程MainProcess开始执行--------
用户张三正在第1次执行任务一。
用户张三正在第2次执行任务一。
----------主进程:MainProcess最后一行代码执行完毕---------
"""

我们发现子进程还没执行结束就被终止了。

多进程之间是无序的

以上就是Python使用multiprocessing实现多进程的详细内容，更多关于Python multiprocessing多线程的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

运筹学-Python实现图论与最短距离
需要求解任意两个节点之间的最短距离,使用 Floyd 算法,只要求解单源最短路径问题,有负权边时使用 Bellman-Ford 算法,没有负权边时使用 Dijkstra 算法,本节我们只讨论Dijkstra 算法,需要的朋友可以参考一下
2022-01-01
python3中apply函数和lambda函数的使用详解
本文主要介绍了python3中apply函数和lambda函数的使用详解，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2022-02-02
Python中实例化class的执行顺序示例详解
这篇文章主要给大家介绍了关于Python中实例化class的执行顺序的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用python具有一定的参考学习价值，需要的朋友们随着小编来一起学习学习吧
2018-10-10
Python时间操作之pytz模块使用详解
在学习Python过程中，我们已经了解了一些关于时间操作的库，如：Python内置库：time，datatime和第三方库：dateutil,pytz等。本文将详细讲讲pytz模块的使用，需要的可以参考一下
2022-06-06
Pytorch平均池化nn.AvgPool2d()使用方法实例
平均池化层,又叫平均汇聚层,下面这篇文章主要给大家介绍了关于Pytorch平均池化nn.AvgPool2d()使用方法的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
2023-02-02
python与字符编码问题
这篇文章主要介绍了python与字符编码问题,下面对编码问题做个简单的总结，感兴趣的朋友跟随小编一起看看吧
2019-05-05
对python修改xml文件的节点值方法详解
今天小编就为大家分享一篇对python修改xml文件的节点值方法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-12-12
如何使用OpenCV实现手势音量控制
今天来学习一下如何使用OpenCV实现手势音量控制,本次实验需要使用OpenCV和mediapipe库进行手势识别,并利用手势距离控制电脑音量,感兴趣的朋友跟随小编一起看看吧
2023-11-11
python如何通过注册表动态管理组件
使用注册表的主要优势是可以在运行时动态创建对象,从而实现高度可配置和可扩展的设计,这篇文章主要介绍了python如何通过注册表动态管理组件,需要的朋友可以参考下
2024-05-05
Python图片检索之以图搜图
由于很多论文里面的测试图片没有标号,就不能确定它们是Testset数据集中哪几张图片.为了能解决这个问题,需要完成以图片去搜索整个数据集文件目录的任务.本文有非常详细的图文示例,需要的朋友可以参考下
2021-05-05