python3学习笔记之多进程分布式小例子

转载  更新时间:2018年02月13日 11:39:30   作者:xh15   我要评论

本篇文章主要介绍了python3学习笔记之多进程分布式小例子,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

最近一直跟着廖大在学Python,关于分布式进程的小例子挺有趣的,这里做个记录。

分布式进程

Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者,将任务分布到其他多个进程中,依靠网络通信。由于managers模块封装很好,不必了解网络通信的细节,就可以很容易地编写分布式多进程程序。

master服务端原理:通过managers模块把Queue通过网络暴露出去,其他机器的进程就可以访问Queue了
服务进程负责启动Queue,把Queue注册到网络上,然后往Queue里面写入任务,代码如下:

#task_master.py
#coding=utf-8

#多进程分布式例子
#服务器端

from multiprocessing.managers import BaseManager
from multiprocessing import freeze_support #server启动报错,提示需要引用此包
import random,time,queue

#发送任务的队列
task_queue = queue.Queue()
#接收结果的队列
result_queue = queue.Queue()

#从BaseManager继承的QueueManager
class QueueManager(BaseManager):
  pass
#win7 64 貌似不支持callable下调用匿名函数lambda,这里封装一下
def return_task_queue():
  global task_queue
  return task_queue
def return_result_queue():
  global result_queue
  return result_queue

def test():
  #把两个Queue注册到网络上,callable参数关联了Queue对象
  #QueueManager.register('get_task_queue',callable=lambda:task_queue)
  #QueueManager.register('get_result_queue',callable=lambda:result_queue)
  QueueManager.register('get_task_queue',callable=return_task_queue)
  QueueManager.register('get_result_queue',callable=return_result_queue)
  #绑定端口5000,设置验证码‘abc'
  manager = QueueManager(address=('127.0.0.1',5000),authkey=b'abc')#这里必须加上本地默认ip地址127.0.0.1
  #启动Queue
  manager.start()
  #server = manager.get_server()
  #server.serve_forever()
  print('start server master')
  #获得通过网络访问的Queue对象
  task = manager.get_task_queue()
  result = manager.get_result_queue()
  #放几个任务进去
  for i in range(10):
    n = random.randint(0,10000)
    print('put task %d...' % n)
    task.put(n)
  #从result队列读取结果
  print('try get results...')
  for i in range(10):
    r = result.get(timeout=10)
    print('result:%s' % r)

  #关闭
  manager.shutdown()
  print('master exit')

if __name__ == '__main__':
  freeze_support()
  test()

运行截图如下:


在分布式多进程环境下,添加任务到Queue不可以直接对原始的task_queue进行操作,那样就绕过了QueueManager的封装,必须通过manager.get_task_queue()获得的Queue接口添加。

任务进程,代码如下:

#task_worker.py
#coding=utf-8

#多进程分布式例子
#非服务端:worker

import time,sys,queue
from multiprocessing.managers import BaseManager

#创建类似的QueueManager
class QueueManager(BaseManager):
  pass

#由于这个QueueManager只从网络上获取Queue,所以注册时只提供名字即可
QueueManager.register('get_task_queue')
QueueManager.register('get_result_queue')

#连接到服务器,也就是运行task_master.py的机器
server_addr = '127.0.0.1'
print('connect to server %s...'% server_addr)
#端口和验证码注意要保持完全一致
m = QueueManager(address=(server_addr,5000),authkey=b'abc')
#从网络连接
m.connect()
#获取Queue的对象
task = m.get_task_queue()
result = m.get_result_queue()
#从task队列获取任务,并把结果写入result队列
for i in range(10):
  try:
    n = task.get(timeout=1)
    print('run task %d * %d...'% (n,n))
    r = '%d * %d = %d' % (n,n,n*n)
    time.sleep(1)
    result.put(r)
  except queue.Empty:
    print('task queue is empty')
#处理结果
print('worker exit')

 运行截图如下:

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • python获取标准北京时间的方法

    python获取标准北京时间的方法

    这篇文章主要介绍了python获取标准北京时间的方法,实例分析了Python通过www.beijing-time.org的官网获取标准北京时间的技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-03-03
  • 在 Django/Flask 开发服务器上使用 HTTPS

    在 Django/Flask 开发服务器上使用 HTTPS

    使用 Django 或 Flask 这种框架开发 web app 的时候一般都会用内建服务器开发和调试程序,等程序完成后再移交到生产环境部署。问题是这些内建服务器通常都不支持 HTTPS,那么我们来探讨下开启https吧
    2014-07-07
  • ubuntu系统下使用pm2设置nodejs开机自启动的方法

    ubuntu系统下使用pm2设置nodejs开机自启动的方法

    今天小编就为大家分享一篇ubuntu系统下使用pm2设置nodejs开机自启动的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05
  • Django中Model的使用方法教程

    Django中Model的使用方法教程

    最近学习了一下Django文档的model部分,通过学习的内容整理了这篇文章,下面这篇文章主要给大家介绍了关于Django中Model的使用方法的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考借鉴,下面随着小编来一起学习学习吧。
    2018-03-03
  • Python正则表达式匹配中文用法示例

    Python正则表达式匹配中文用法示例

    这篇文章主要介绍了Python正则表达式匹配中文用法,结合实例形式分析了Python针对中文的正则与文件操作相关技巧,需要的朋友可以参考下
    2017-01-01
  • Python爬虫工程师面试问题总结

    Python爬虫工程师面试问题总结

    本篇文章给大家总结了关于Python爬虫工程师面试问题总结,希望我们整理的内容能够帮助到大家。
    2018-03-03
  • python3之模块psutil系统性能信息使用

    python3之模块psutil系统性能信息使用

    psutil是个跨平台库,能够轻松实现获取系统运行的进程和系统利用率,这篇文章主要介绍了python3之模块psutil系统性能信息使用,感兴趣的小伙伴们可以参考一下
    2018-05-05
  • pyqt4教程之实现半透明的天气预报界面示例

    pyqt4教程之实现半透明的天气预报界面示例

    这篇文章主要介绍了pyqt4实现半透明的天气预报界面示例,需要的朋友可以参考下
    2014-03-03
  • python使用str & repr转换字符串

    python使用str & repr转换字符串

    str() 是将 数值 转成字符串 repr() 是将一个对象 转成字符串 显示 看明白了么:str()是将一个对象转化成str对象 repr()是将一个对象可视化,使用字符串输出,使编程人员看到其的内部结构
    2016-10-10
  • python搭建简易服务器分析与实现

    python搭建简易服务器分析与实现

    本文将介绍python搭建简易服务器实现步骤,需要了解的朋友可以参考下
    2012-12-12

最新评论