脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python grequests发送请求

Python使用grequests并发发送请求的示例

 更新时间：2020年11月05日 15:50:56   作者：临渊  
这篇文章主要介绍了Python使用grequests并发送请求的示例，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下

前言

requests是Python发送接口请求非常好用的一个三方库，由K神编写，简单，方便上手快。但是requests发送请求是串行的，即阻塞的。发送完一条请求才能发送另一条请求。
为了提升测试效率，一般我们需要并行发送请求。这里可以使用多线程，或者协程，gevent或者aiohttp，然而使用起来，都相对麻烦。

grequests是K神基于gevent+requests编写的一个并发发送请求的库,使用起来非常简单。

安装方法： pip install gevent grequests
项目地址：https://github.com/spyoungtech/grequests

grequests简单使用

首先构造一个请求列表，使用grequests.map()并行发送，得到一个响应列表。示例如下。

import grequests

req_list = [ # 请求列表
 grequests.get('http://httpbin.org/get?a=1&b=2'),
 grequests.post('http://httpbin.org/post', data={'a':1,'b':2}),
 grequests.put('http://httpbin.org/post', json={'a': 1, 'b': 2}),
]

res_list = grequests.map(req_list) # 并行发送，等最后一个运行完后返回
print(res_list[0].text) # 打印第一个请求的响应文本

grequests支持get、post、put、delete等requests支持的HTTP请求方法，使用参数和requests一致，发送请求非常简单。
通过遍历res_list可以得到所有请求的返回结果。

grequests和requests性能对比

我们可以对比下requests串行和grequests并行请求100次github.com的时间，示例如下。
使用requests发送请求

import requests
import time

start = time.time()
res_list = [requests.get('https://github.com') for i in range(100)]
print(time.time()-start)

实际耗时约100s+

使用grequests发送

import grequests
import time

start = time.time()
req_list = [grequests.get('https://github.com') for i in range(100)]
res_list = grequests.map(req_list)
print(time.time()-start)

际耗时约3.58s

异常处理

在批量发送请求时难免遇到某个请求url无法访问或超时等异常，grequests.map()方法还支持自定义异常处理函数，示例如下。

import grequests

def err_handler(request, exception):
 print("请求出错")

req_list = [
 grequests.get('http://httpbin.org/delay/1', timeout=0.001), # 超时异常
 grequests.get('http://fakedomain/'), # 该域名不存在
 grequests.get('http://httpbin.org/status/500') # 正常返回500的请求
]

res_list = grequests.map(reqs, exception_handler=err_handler)
print(res_list)

运行结果：

请求出错
请求出错
[None, None, <Response [500]>]

以上就是Python使用grequests并发发送请求的示例的详细内容，更多关于Python grequests发送请求的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

相关文章

  • Python包，__init__.py功能与用法分析

    Python包，__init__.py功能与用法分析

    这篇文章主要介绍了Python包，__init__.py功能与用法,结合实例形式分析了Python中包的概念、功能及__init__.py初始化相关操作技巧,需要的朋友可以参考下
    2020-01-01
  • Python中异常的捕获与处理详解

    Python中异常的捕获与处理详解

    这篇文章主要介绍了Python中异常的捕获与处理详解,调试Python程序时，经常会报出一些异常，异常的原因一方面可能是写程序时由于疏忽或者考虑不全造成了错误，这时就需要根据异常Traceback到出错点，进行分析改正,需要的朋友可以参考下
    2023-08-08
  • python 浅谈serial与stm32通信的编码问题

    python 浅谈serial与stm32通信的编码问题

    今天小编就为大家分享一篇python 浅谈serial与stm32通信的编码问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12
  • python的urllib.parse用法及说明

    python的urllib.parse用法及说明

    这篇文章主要介绍了python的urllib.parse用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-09-09
  • Python如何有效地使用迭代

    Python如何有效地使用迭代

    这篇文章主要为大家详细介绍了Python如何有效地使用迭代,文中的示例代码讲解详细,对我们深入了解Python有一定的帮助,需要的小伙伴可以学习一下
    2023-09-09
  • Python进行区间取值案例讲解

    Python进行区间取值案例讲解

    这篇文章主要介绍了Python进行区间取值案例讲解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下
    2021-08-08
  • python中如何实现将数据分成训练集与测试集的方法

    python中如何实现将数据分成训练集与测试集的方法

    这篇文章主要介绍了python中如何实现将数据分成训练集与测试集的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-09-09
  • 使用python爬虫实现抓取动态加载数据

    使用python爬虫实现抓取动态加载数据

    这篇文章主要给大家介绍了如何用python爬虫抓取豆瓣电影“分类排行榜”中的电影数据,比如输入“犯罪”则会输出所有犯罪影片的电影名称、评分,文中通过代码示例和图文介绍的非常详细,需要的朋友可以参考下
    2024-01-01
  • 详解使用scrapy进行模拟登陆三种方式

    详解使用scrapy进行模拟登陆三种方式

    这篇文章主要介绍了使用scrapy进行模拟登陆三种方式，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2021-02-02
  • Python下载网络小说实例代码

    Python下载网络小说实例代码

    这篇文章主要介绍了Python下载网络小说实例代码，分享了相关代码示例，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下
    2018-02-02

最新评论