python网络爬虫之协程的实现方法

# 1. greenlet实现协程
from greenlet import greenlet
def func1():
    print(1)    #第二步：输出1
    gr2.swith()     #第三步：切换到func2函数
    print(2)    #第六步：输出2
def func2():
    print(3)    #第四步：输出3
    gr1.switch()    #第五步：切换到func1函数
    print(4)    #第七步：输出4
gr1 = greenlet(func1())
gr2 = greenlet(func2())
gr1.switch()    #第一步：执行func1函数

# 2. yield关键字 实现协程
def func1():    #如果一个函数中，存在yield关键字，则认为是一个生成器，则执行该函数，就生成一个生成器
    yield 1     #第二步：输出1
    yield from func2()  #第三步：表示跳到func2函数中
    yield 2     #第六步：输出2
def func2():
    yield 3     #第四步：输出3
    yield 4     #第五步：输出4
f1 = func1()
for item in f1:
    print(item) #第一步：执行func1函数

# 3. asyncio 实现协程【无需安装，但要求python需3.4及以上版本】
# 注意：遇到IO阻塞自动切换
import asyncio
@asyncio.coroutine
def func1():    #func1位普通函数，添加了asynic.coroutine装饰器后，则认为该函数为协程函数
    print(1)
    yield  from asyncio.sleep(2)  # 遇到IO耗时操作，自动切换到tasks中的其他任务
    print(2)
@asyncio.coroutine
def func2():
    print(3)
    yield  from asyncio.sleep(2)    # 遇到IO耗时操作，自动切换到tasks中的其他任务
    print(4)
#协程函数的执行， 则无法使用func1()方法进行执行，需要以下的方法进行执行
# loop = asyncio.get_event_loop()
# loop.run_until_complete(函数名称)  #使用以上代码，执行函数的协程操作 如：loop.run_until_complete(func())
#对func1和func2函数进行封装， 然后使用下面的4句代码，在pyhton内部，同时会执行这两个协程函数，线程会随机执行所有函数中的一个
tasks = [
    asyncio.ensure_future(func1()),
    asyncio.ensure_future(func2())
]
# 线程函数会随机执行func1和func2协程函数
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

# 4. async & await关键字【推荐】  在python3.5及以上
import asyncio
async def func1():    #func1位普通函数，添加了asynic.coroutine装饰器后，则认为该函数为协程函数
        print(1)
        await asyncio.sleep(2)  # 遇到IO耗时操作，自动切换到tasks中的其他任务
        print(2)
@asyncio.coroutine
async def func2():
        print(3)
        await asyncio.sleep(2)    # 遇到IO耗时操作，自动切换到tasks中的其他任务
        print(4)
#对func1和func2函数进行封装， 然后使用下面的4句代码，在pyhton内部，同时会执行这两个协程函数，线程会随机执行所有函数中的一个
tasks = [
    asyncio.ensure_future(func1()),
    asyncio.ensure_future(func2())
]
# 线程函数会随机执行func1和func2协程函数
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))