python异步IO的项目实践

 更新时间:2023年06月07日 09:01:35   作者:快乐江小鱼  
本文主要介绍了python异步IO的项目实践,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

asyncio是python3.4引入的标准库,内置对异步IO的支持。asyncio的编程模型是一个消息循环,从asyncio模块中直接获取一个EventLoop的引用,然后把需要执行的协程放入EventLoop中执行,就实现了异步IO。

协程又称为微线程。子程序在所有语言中都是层级调用,子程序调用通过栈实现。一个线程就是执行一个子程序。协程最大的优势是执行效率高,子程序切换不是线程切换,而是由程序自身控制。第二个优势是不需要多线程的锁机制。python对协程的支持通过generator实现,generator中,可以通过for循环来迭代,也可以不断调用next()函数获取由yield语句返回的下一个值。

协程示例,@asyncio.coroutine把一个生成器标记为coroutine类型,自python3.8弃用,使用async def替代。

import threading
import asyncio
@asyncio.coroutine
def hello():
    print('Hello World! (%s)' % threading.current_thread())
    # yield from调用另一个生成器
    r = yield from asyncio.sleep(1)
    print('Hello Again! (%s)' % threading.current_thread())
loop = asyncio.get_event_loop()
# 两个协程是由同一个线程并发执行的
tasks = [hello(), hello()]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

结果:

Hello World! (<_MainThread(MainThread, started 49300)>)
Hello World! (<_MainThread(MainThread, started 49300)>)
Hello again! (<_MainThread(MainThread, started 49300)>)
Hello again! (<_MainThread(MainThread, started 49300)>)

推荐使用async/await语法编写协程应用。

# 直接调用main()并不会执行协程应用。
>>> import asyncio
>>> async def main():
...        print('hello')    
...        await asyncio.sleep(1)
...        print('world')
>>> asyncio.run(main())
hello
world

传统生产消费模型,一个线程写消息,一个线程读消息,通过锁机制控制队列和等待,但一不小心就可能死锁。改用协程生产消息后直接通过yield跳转到消费者开始执行,待消费者执行完毕后,切换回生产者,效率极高。

# consumer函数是一个生成器
def consumer():
    r = ''
    while True:
        n = yield r
        if not n:
            return 
        print('[COUSUMER] Consuming %s...' % n)
        r = '200 OK'
def produce(c):
    # 启动生成器
    c.send(None)
    n = 0
    while n < 5:
        n = n + 1
        print('[PRODUCER] Producing %s...' % n)
        r = c.send(n)
        print('[PRODUCER] Consumer return:%s' % r)
    c.close()
# 注意到consumer函数是一个generator,把一个consumer传入produce后:
# 首先调用c.send(None)启动生成器;
# 然后,一旦生产了东西,通过c.send(n)切换到consumer执行;
# consumer通过yield拿到消息处理,又通过yield把结果传回;
# produce拿到consumer处理的结果,继续生产下一条消息;
# produce决定不生产了,通过c.close()关闭consumer,整个过程结束。
# 整个流程无锁,由一个线程执行,produce和consumer协作完成任务,所以称为“协程”,而非线程的抢占式多任务。    
c = consumer()
produce(c)

asyncio可以实现单线程并发IO操作,用单线程+coroutine实现多用户的高并发支持,asyncio实现了TCP、UDP、SSL等协议,aiohttp则是基于asyncio实现的HTTP框架。

import asyncio
from aiohttp import web
def index(request):
    return web.Response(body=b'<h1>Index</h1>')
def hello(request):
    yield from asyncio.sleep(0.5)
    text = '<h1>Hello, %s!</h1>' % request.match_info['name']
    return web.Response(body=text.encode('utf-8'))
@asyncio.coroutine
def init(loop):
    app = web.Application(loop=loop)
    app.router.add_route('GET', '/', index)
    app.router.add_router('GET', '/hello/{name}', hello)
    srv = yield from loop.create_server(app.make_handler(), '127.0.0.1', 8000)
    print('Server started at http://127.0.0.1:8000')
    return srv
loop = asyncio.get_event_loop()
loop.run_until_complete(init(loop))
loop.run_forever()

到此这篇关于python异步IO的项目实践的文章就介绍到这了,更多相关python异步IO内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 利用python求积分的实例

    利用python求积分的实例

    今天小编就为大家分享一篇利用python求积分的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • Python 5种常见字符串去除空格操作的方法

    Python 5种常见字符串去除空格操作的方法

    这篇文章主要给大家分享的是Python 5种常见字符串去除空格操作的方法,包括有strip()方法、rstrip()方法、replace()方法、join()方法+split()方法,下面文章是详细内容,需要的朋友可以参考一下
    2021-11-11
  • Python 获取指定开头指定结尾所夹中间内容(推荐)

    Python 获取指定开头指定结尾所夹中间内容(推荐)

    获取文章中指定开头、指定结尾中所夹的内容。其中,开头和结尾均有多种,但最多也就十几种,所以代码还是具有可行性的,今天小编给大家介绍通过Python 获取指定开头指定结尾所夹中间内容,感兴趣的朋友一起看看吧
    2023-02-02
  • 基于Python 函数和方法的区别说明

    基于Python 函数和方法的区别说明

    这篇文章主要介绍了基于Python 函数和方法的区别说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-03-03
  • python2.7 mayavi 安装图文教程(推荐)

    python2.7 mayavi 安装图文教程(推荐)

    下面小编就为大家带来一篇python2.7 mayavi 安装图文教程(推荐)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-06-06
  • Python如何实现守护进程的方法示例

    Python如何实现守护进程的方法示例

    护进程:通常被定义为一个后台进程,而且它不属于任何一个终端会话(terminal session)。许多系统服务由守护程序实施;如网络服务,打印等。 下面这篇文章给大家分享了Python是如何实现守护进程的方法示例,需要的朋友可以参考借鉴。
    2017-02-02
  • Python数据结构之图的应用示例

    Python数据结构之图的应用示例

    这篇文章主要介绍了Python数据结构之图的应用,结合实例形式分析了Python数据结构中图的定义与遍历算法相关操作技巧,需要的朋友可以参考下
    2018-05-05
  • Python实现图片格式转换

    Python实现图片格式转换

    经常会遇到图片格式需要转换的情况,这篇文章主要为大家详细介绍了Python实现图片格式转换,文中示例代码介绍的非常详细、实用,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-08-08
  • Python flask框架如何显示图像到web页面

    Python flask框架如何显示图像到web页面

    这篇文章主要介绍了Python flask框架如何显示图像到web页面,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-06-06
  • Python如何使用struct.unpack处理二进制文件

    Python如何使用struct.unpack处理二进制文件

    这篇文章主要介绍了Python如何使用struct.unpack处理二进制文件问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-02-02

最新评论