Python用yield from实现异步协程爬虫的实践

# -*- coding: utf-8 -*-
# @Time    : 2022/11/10 16:17
# @Author  : 红后
# @Email   : not_enabled@163.com
# @blog    : https://www.cnblogs.com/Red-Sun
# @File    : 实例1.py
# @Software: PyCharm

def main():
    '''
    遍历0到4，这五个数,并分别打印
    '''
    for num in range(5):
        yield num

if __name__ == '__main__':
    for num in main():
        print(num)
    print('-'*50)
    for num in [0, 1, 2, 3, 4]:
        print(num)

# -*- coding: utf-8 -*-
# @Time    : 2023/01/11 15:24
# @Author  : 红后
# @Email   : not_enabled@163.com
# @blog    : https://www.cnblogs.com/Red-Sun
# @File    : 实例2.py
# @Software: PyCharm

def main():
    '''
    将yield看作一个动态列表，从yield左往右为传出数据，从又往左为传入数据。
    PS：有yield存在的那一行，需要从左往右传出数据跑一遍，数据出去以后又要从右往左带接收的数据跑一遍，一共一行跑两边（仅作者个人记忆方法）
    '''
    Python学习群：748989764
    num1 = yield
    num2 = yield
    print(num1, num2)
    yield num1 + num2
if __name__ == '__main__':
    a = main()
    # 第一个next对应第一个yield的右边为空即None，所以动态列表中加入一个参数为None，返回值为列表的-1位是None
    print(next(a))  # [None]
    # 第二个通过send方法传入一个数1，即在上一次停止的地方从右往左传入参数，所以给num1赋值为1.然后继续找下一个yield，其右边的值依旧为None，加入动态列表，此时返回值-1位依旧是None
    print(a.send(1))  # [None, None]
    # 第三通过send方法传入一个数2，即在上一次停止的地方从右往左传入参数，所以给num2赋值为2.然后继续找下一个yield，其右边的值为num1 + num2，此时num1为1，num2为2，计算得返回值-1位为3
    print(a.send(2))  # [None, None, num1 + num2]

# -*- coding: utf-8 -*-
# @Time    : 2022/11/10 15:13
# @Author  : 红后
# @Email   : not_enabled@163.com
# @blog    : https://www.cnblogs.com/Red-Sun
# @File    : coroutines.py
# @Software: PyCharm

import requests


def coroutines_spider():
    '''
    子生成器（PS: 打工仔，真正干活的）
    '''
    response = None  # 首次激活返回None，后期网页响应覆盖
    while True:
        url = yield response
        response = requests.get(url)


def appoint():
    '''
    委派生成器,委托子生成器完成具体任务 (PS: 类似包工头负责劳务派遣)
    '''
    while True:
        yield from coroutines_spider()  # 建立子生成器和主函数的双通道


def main(url_list: list):
    '''
    主函数（PS: 相当于老板，张贴招人启示）
    '''
    ul = appoint()  # 创建委派生成器
    next(ul)  # 激活它
    for url in url_list:
        response = ul.send(url)  # 将url作为参数传递进入子生成器中，返回子生成器yield出来的response
        print(response.url, response.status_code)  # 打印出response中的链接和状态码


if __name__ == '__main__':
    url_list = ['https://www.baidu.com/', 'https://www.4399.com/', 'https://cn.bing.com/', ]
    main(url_list=url_list)