Python Http发送请求浅析

 更新时间:2022年06月08日 14:24:00   作者:​ AMo   ​  
这篇文章主要介绍了Python Http发送请求浅析,文章主要通过从requests、aiohttp、httpx三个接口请求展开详情,需要的朋友可以参考一下文章具体详细内容

前言

相信很多人使用Python做接口请求(Http客户端请求)的时候,很多人肯定用过这几个:urllib,urllib3,requests.没错,反正我常用,而且在我这里出现最多最靓眼的那个崽是requests, 毕竟普通接口请求,爬虫常用, 而且封装起来后使用更为简单。所以在这篇文章里面,它是我浅析研究三国鼎立的其中之一。

这篇文章主要浅析这三个:

  • requests
  • aiohttp
  • httpx

浅析requests

在不借助其他第三方库的情况下,requests 只能发送同步请求。requests 是一个Python第三方库,处理URL资源特别方便,而且相对于urllib3来说封装了更多功能,并且使用步骤简单。

我们深入一下到requests api源码来看一下: 

 从图片来看,其实可以大概看出requests支持哪些功能 然后圈红的其实是最常用的一些功能,也就是可以设置请求方式,请求头,cookie,过期时间,请求接口验证,文件上传等等功能。

整理了日常大概常用的方,应该是下面这几种格式:

# get 请求
requests.get(url, params)

# post 请求
requests.post(url, data)
# 文件上传
upload_files = {'file': open('report.xls', 'rb')}
requests.post(url, file=upload_files)  
# 设置header
headers = {'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit'}
requests.post(url, headers=headers)
# 设置cookie
cookies = {'token': '12345', 'status': '摸鱼'}
requests.post(url, cookies=cookies)

如果单纯请求一个接口,获取接口数据的话,上面的完全够用了,不需要额外的操作。

但是requests有时候挺多用在爬虫场景下,爬虫有的需要保持登录信息去爬取其他接口,那么单纯的去使用requests.get 或者 requests.post,这都是一次性的请求,是不太满足需求的。 对于登录成功,再去请求其他的接口,可能需要之前生成的cookie或者token,这时候,这些信息就需要进行保存。对于这种情况,可以使用requests.session,它可以自动处理cookies,做状态保持.

大概的使用步骤应该是这样子:

# 先实例化一个对象
session = requests.session()
# 给 requests.session() 对象设置cookie信息,这个看情况使用,具体情况具体分析啊
cookies_dict = {}
session.cookies = requests.utils.cookiejar_from_dict(cookies_dict)
# 后面用法和直接使用requests一样了
# get请求
response = session.get(url)
# post请求
response = session.post(url, json=json_data)
result = response.json()
#获取登陆的所有cookies信息
print(result.cookies.values()) 

通过上面这些大概步骤,对于信息状态保持是已经足够了,这时候再用这些保持的信息去爬取接口是没有多大问题的(按道理啊,经典案例的话可以去模拟爬取一下淘宝PC端,本文具体的就不介绍了。)

浅析aiohttp

在不借助其他第三方库的情况下,aiohttp只能发送异步请求

其实,人都是贪心的,在同步请求足够完成需求后,那么人就会去从其他方面去提升, 比如同样的接口,希望能更快的处理返回,减少消耗时间,不希望阻塞。

那么随着这种需要,那么异步请求也就出现了。目前支持异步请求的方式有 async/await+asyncio+requests 组合构成,也可以使用aiohttp.aiohttp是一个为Python提供异步HTTP客户端、服务端编程,基于asyncio的异步库。aiohttp 同样是可以设置请求方式,请求头,cookie,代理,上传文件等功能的

大概用代码来表示,应该是常见这些:

# post 请求
payload = {
        "data": "hello world"
    }
async with aiohttp.ClientSession() as session:
	async with session.post(url, json=payload) as resp:
		print(resp.status)
# get请求
# 创建使用session
async with aiohttp.ClientSession() as session:
	async with session.get(url) as resp:
		print(resp.status)
		res = await resp.text()
		return res

# 上传文件
files = {'file': open('report.xls', 'rb')}
async with aiohttp.ClientSession() as sess:
	async with sess.post(url, data=files) as resp:
		print(resp.status)
		print(await resp.text())

# 设置header, cookie
headers = {'User-Agent': 'your agent'}
cookies= {'cookies_are': '摸鱼'}
async with aiohttp.ClientSession(headers=headers, cookies=cookies) as session:
	async with session.get(url) as resp:
		print(resp.status)
		res = await resp.text()
		return res

当然异步的请求,多可以是对接口返回数据在其他地方没有太强的依赖,异步的作用更多是用于提高效率,节省同步等待时间。

浅析httpx

在不借助其他第三方库的情况下,httpx既能发送同步请求,又能发送异步请求

httpx是Python新一代的网络请求库,它包含以下特点:

  • 1.基于Python3的功能齐全的http请求模块
  • 2.既能发送同步请求,也能发送异步请求
  • 3.支持HTTP/1.1和HTTP/2
  • 4.能够直接向WSGI应用程序或者ASGI应用程序发送请求

安装 httpx需要Python3.6+(使用异步请求需要Python3.8+)

httpx是Python新一代的网络请求库, 功能和requests基本都一致,但是requests在没有第三方库的支持下只能发同步请求, 但是httpx不仅可以发同步请求,还可以异步,这个是比requests要好的。因为和requests差不多,那么requests能支持设置的,那么httpx也同样可以支持

基本的使用方法:

data = {
    'name': 'autofelix',
    'age': 25
}

# get请求
httpx.get(url,params=data)
# post请求
httpx.post(url, data=data)

# 设置header,cookie,timeout
headers = {'User-Agent': 'your agent'}
cookies= {'cookies_are': '摸鱼'}
httpx.get(url, headers=headers, cookies=cookies, timeout=10.0)

# 使用client发送(同步)请求
with httpx.Client() as client:
   response = client.get(url)

异步操作, 使用async/await语句来进行异步操作,使用异步client比使用多线程发送请求更加高效,更能体现明显的性能优势

import asyncio
import httpx

async def main():
    # 异步请求AsyncClient
    async with httpx.AsyncClient() as client:
        response = await client.get(url)
        print(response)

if __name__ == '__main__':
    # python3.7+ 支持写法
    # asyncio.run(main())
    # python3.6及以下版本写法
    loop = asyncio.get_event_loop()
    result = loop.run_until_complete(asyncio.gather(main()))
    loop.close()

大体看下,同步请求使用httpx.client(), 异步请求使用httpx.AsyncClient(), 然后其他的一些基本用法都大体相似。可以说,如果你对requests熟练,那么对于aiohttp以及httpx也是很快就能上手理解的。

结语

到此这篇关于Python Http发送请求浅析的文章就介绍到这了,更多相关Python Http请求内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Python pyecharts绘制柱状图

    Python pyecharts绘制柱状图

    这篇文章主要介绍了Python pyecharts绘制柱状图,文章介绍的柱状/条形图,通过柱形的高度/条形的宽度来表现数据的大小,感兴趣的小伙伴一起进入文章学习更详细内容吧
    2021-12-12
  • python中itertools模块zip_longest函数详解

    python中itertools模块zip_longest函数详解

    itertools模块包含创建高效迭代器的函数,这些函数的返回值不是list,而是iterator(可迭代对象),可以用各种方式对数据执行循环操作,今天我们来详细探讨下zip_longest函数
    2018-06-06
  • python实现邻接表转邻接矩阵

    python实现邻接表转邻接矩阵

    这篇文章主要介绍了python实现邻接表转邻接矩阵,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-12-12
  • Python中的相关分析correlation analysis的实现

    Python中的相关分析correlation analysis的实现

    这篇文章主要介绍了Python中的相关分析correlation analysis的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-08-08
  • 基于OpenCv实现的人脸识别(附Python完整代码)

    基于OpenCv实现的人脸识别(附Python完整代码)

    人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术,下面这篇文章主要给大家介绍了关于如何基于OpenCv实现的人脸识别,文中还附Python完整代码,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-11-11
  • selenium环境搭建及基本元素定位方式详解

    selenium环境搭建及基本元素定位方式详解

    selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法执行javaScript代码的问题,这篇文章主要介绍了selenium环境搭建及基本元素定位方式,需要的朋友可以参考下
    2023-04-04
  • python import 引用上上上级包的三种方法

    python import 引用上上上级包的三种方法

    这篇文章主要介绍了python import 引用上上上级包的三种方法包的三种方法,需要的朋友可以参考下
    2023-02-02
  • Python matplotlib修改默认字体的操作

    Python matplotlib修改默认字体的操作

    这篇文章主要介绍了Python matplotlib修改默认字体的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-03-03
  • Python深度学习神经网络残差块

    Python深度学习神经网络残差块

    这篇文章主要为大家介绍了Python深度学习中的神经网络残差块示例详解有需要的 朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步
    2021-10-10
  • Python将字典转换为XML的方法

    Python将字典转换为XML的方法

    这篇文章主要介绍了Python将字典转换为XML的方法,文中讲解非常细致,代码帮助大家更好的理解和学习,感兴趣的朋友可以了解下
    2020-08-08

最新评论