脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python mpi4py使用

python中mpi4py的所有基础使用案例详解

 更新时间：2022年08月18日 15:34:48   作者：看那片云  
这篇文章主要介绍了python中mpi4py的所有基础使用,本文通过10个案例给大家详细讲解，结合实例代码给大家介绍的非常详细，需要的朋友可以参考下

python中mpi4py的基础使用

大多数 MPI 程序都可以使用命令 mpiexec 运行。在实践中，运行 Python 程序如下所示：

$ mpiexec -n 4 python script.py

案例1：测试comm.send 和comm.recv函数，代码如下

from mpi4py import MPI

comm = MPI.COMM_WORLD
rank = comm.Get_rank()

if rank == 0:
    data = {'a': 7, 'b': 3.14}
    comm.send(data, dest=1, tag=11)
elif rank == 1:
    data = comm.recv(source=0, tag=11)

rank代表进程编号，其总数是mpiexec -n中的n的个数，最大的n受到电脑cpu内核数的限制
dest代表发送的目标，tag是一个标志位可以忽略，source为数据来源rank标志

案例2：具有非阻塞通讯的python对象

from mpi4py import MPI

comm = MPI.COMM_WORLD
rank = comm.Get_rank()

if rank == 0:
    data = {'a': 7, 'b': 3.14}
    req = comm.isend(data, dest=1, tag=11)
    req.wait()
elif rank == 1:
    req = comm.irecv(source=0, tag=11)
    data = req.wait()

案例3： 快速发送实例

这里的Send和Recv都是大写，用于numpy数据的传输

from mpi4py import MPI
import numpy

comm = MPI.COMM_WORLD
rank = comm.Get_rank()

# passing MPI datatypes explicitly
if rank == 0:
    data = numpy.arange(1000, dtype='i')
    comm.Send([data, MPI.INT], dest=1, tag=77)
elif rank == 1:
    data = numpy.empty(1000, dtype='i')
    comm.Recv([data, MPI.INT], source=0, tag=77)

# automatic MPI datatype discovery
if rank == 0:
    data = numpy.arange(100, dtype=numpy.float64)
    comm.Send(data, dest=1, tag=13)
elif rank == 1:
    data = numpy.empty(100, dtype=numpy.float64)
    comm.Recv(data, source=0, tag=13)

案例4：集体通讯，广播机制

广播机制就是将当前root=0端口下的所有信息发送到任何一个进程

from mpi4py import MPI

comm = MPI.COMM_WORLD
rank = comm.Get_rank()

if rank == 0:
    data = {'key1' : [7, 2.72, 2+3j],
            'key2' : ( 'abc', 'xyz')}
else:
    data = None
data = comm.bcast(data, root=0)

案例5：scatter，将root=0下的数据一次分发到各个rank下

from mpi4py import MPI

comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

if rank == 0:
    data = [(i+1)**2 for i in range(size)]
else:
    data = None
data = comm.scatter(data, root=0)
assert data == (rank+1)**2

案例6：gather，将所有rank下的数据收集到root下

from mpi4py import MPI

comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

data = (rank+1)**2
data = comm.gather(data, root=0)
if rank == 0:
    for i in range(size):
        assert data[i] == (i+1)**2
else:
    assert data is None

案例7，numpy的广播机制

与之前一样都是大写

from mpi4py import MPI
import numpy as np

comm = MPI.COMM_WORLD
rank = comm.Get_rank()

if rank == 0:
    data = np.arange(100, dtype='i')
else:
    data = np.empty(100, dtype='i')
comm.Bcast(data, root=0)
for i in range(100):
    assert data[i] == i

案例8：numpy的Scatter机制

from mpi4py import MPI
import numpy as np

comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

sendbuf = None
if rank == 0:
    sendbuf = np.empty([size, 100], dtype='i')
    sendbuf.T[:,:] = range(size)
recvbuf = np.empty(100, dtype='i')
comm.Scatter(sendbuf, recvbuf, root=0)
assert np.allclose(recvbuf, rank)

案例9：numpy的Gather机制

from mpi4py import MPI
import numpy as np

comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

sendbuf = np.zeros(100, dtype='i') + rank
recvbuf = None
if rank == 0:
    recvbuf = np.empty([size, 100], dtype='i')
comm.Gather(sendbuf, recvbuf, root=0)
if rank == 0:
    for i in range(size):
        assert np.allclose(recvbuf[i,:], i)

案例10 ：allgather机制

allgather就是 scatter 加上广播机制。
rank0 = a
rank1 = b
rank2 = c
allgather后结果为
rank0 = a，b，c
rank1 = a，b，c
rank2 = a，b，c

from mpi4py import MPI
import numpy

def matvec(comm, A, x):
    m = A.shape[0] # local rows
    p = comm.Get_size()
    xg = numpy.zeros(m*p, dtype='d')
    comm.Allgather([x,  MPI.DOUBLE],
                   [xg, MPI.DOUBLE])
    y = numpy.dot(A, xg)
    return y

到此这篇关于一文读懂python中mpi4py的所有基础使用的文章就介绍到这了,更多相关python mpi4py使用内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

相关文章

  • Python Asyncio库之asyncio.task常用函数详解

    Python Asyncio库之asyncio.task常用函数详解

    Asyncio在经过一段时间的发展以及获取Curio等第三方库的经验来提供更多的功能，目前高级功能也基本完善。本文主要介绍了Asyncio库中asyncio.task常用函数的使用，需要的可以参考一下
    2023-03-03
  • 使用Python实现将图片转线条图

    使用Python实现将图片转线条图

    这篇文章主要为大家详细介绍了如何使用Python实现将图片转线条图,可以让图片看起来更加的有意思,感兴趣的小伙伴可以跟随小编一起学习一下
    2025-02-02
  • 如何在windows下安装Pycham2020软件(方法步骤详解)

    如何在windows下安装Pycham2020软件(方法步骤详解)

    这篇文章主要介绍了在windows下安装Pycham2020软件方法，本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-05-05
  • 一文带你了解Python列表生成式应用的八重境界

    一文带你了解Python列表生成式应用的八重境界

    在Python中有非常多且好用的技巧，其中使用最多的是列表生成式，往往可以将复杂的逻辑用简单的语言来实现，本文重点介绍列表生成式应用的八重境界
    2022-09-09
  • python对象销毁实例(垃圾回收)

    python对象销毁实例(垃圾回收)

    今天小编就为大家分享一篇python对象销毁实例(垃圾回收)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-01-01
  • Python补齐字符串长度的实例

    Python补齐字符串长度的实例

    今天小编就为大家分享一篇Python补齐字符串长度的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-11-11
  • Python 获取windows桌面路径的5种方法小结

    Python 获取windows桌面路径的5种方法小结

    今天小编就为大家分享一篇Python 获取windows桌面路径的5种方法小结，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • pytorch中torch.topk()函数的快速理解

    pytorch中torch.topk()函数的快速理解

    我们在做分类算法时,时常见到@acc1和@acc5的情况,@acc1比较容易实现,但是一直苦于@acc5算法的实现,在此为大家提供一种@topk的实现方法,这篇文章主要给大家介绍了关于pytorch中torch.topk()函数的快速理解,需要的朋友可以参考下
    2022-02-02
  • pip install urllib2不能安装的解决方法

    pip install urllib2不能安装的解决方法

    今天小编就为大家分享一篇pip install urllib2不能安装的解决方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-06-06
  • 使用Python创建一个视频管理器并实现视频截图功能

    使用Python创建一个视频管理器并实现视频截图功能

    在这篇博客中,我将向大家展示如何使用 wxPython 创建一个简单的图形用户界面 (GUI) 应用程序,该应用程序可以管理视频文件列表、播放视频,并生成视频截图,我们将逐步实现这些功能,并确保代码易于理解和扩展,感兴趣的小伙伴跟着小编一起来看看吧
    2024-08-08

最新评论