python爬虫使用requests发送post请求示例详解
简介
HTTP协议规定post提交的数据必须放在消息主体中,但是协议并没有规定必须使用什么编码方式。服务端通过是根据请求头中的Content-Type字段来获知请求中的消息主体是用何种方式进行编码,再对消息主体进行解析。具体的编码方式包括:
application/x-www-form-urlencoded 最常见post提交数据的方式,以form表单形式提交数据。
application/json 以json串提交数据。
multipart/form-data 一般使用来上传文件。
一、 以form表单发送post请求
Reqeusts支持以form表单形式发送post请求,只需要将请求的参数构造成一个字典,然后传给requests.post()的data参数即可。
例:
# -*- coding: utf-8 -*-
# author:Gary
import requests
url = 'http://httpbin.org/post' # 一个测试网站的url
data = {'key1': 'value1', 'key2': 'value2'} # 你发送给这个的数据
r = requests.post(url, data=data) # 使用requests的post方法,data接受你想发送的数据
print(r.text) # 查看返回的内容
输出
{
“args”: {},
“data”: “”,
“files”: {},
#你提交的表单数据
“form”: {
“key1”: “value1”,
“key2”: “value2”
},
“headers”: {
……
“Content-Type”: “application/x-www-form-urlencoded”,
……
},
“json”: null,
……
}
可以看到,请求头中的Content-Type字段已设置为application/x-www-form-urlencoded,且data = {‘key1': ‘value1', ‘key2': ‘value2'}以form表单的形式提交到服务端,服务端返回的form字段即是提交的数据。
二、 以json形式发送post请求
可以将一json串传给requests.post()的data参数,
# -*- coding: utf-8 -*-
# author:Gary
import requests
import json
url = 'http://httpbin.org/post' # 一个测试网站的url
json_data = json.dumps({'key1': 'value1', 'key2': 'value2'}) # 你发送给这个的数据,数据格式转为json
r = requests.post(url, data=json_data) # 使用requests的post方法,data接受你想发送的数据
print(r.text) # 查看返回的内容
输出:
{
“args”: {},
“data”: “{\”key2\”: \”value2\”, \”key1\”: \”value1\”}”,
“files”: {},
“form”: {},
“headers”: {
……
“Content-Type”: “application/json”,
……
},
“json”: {
“key1”: “value1”,
“key2”: “value2”
},
……
}
可以看到,请求头的Content-Type设置为application/json,并将json_data这个json串提交到服务端中。
三、 以multipart形式发送post请求(上传文件)
Requests也支持以multipart形式发送post请求,只需将一文件传给requests.post()的files参数即可。
# -*- coding: utf-8 -*-
# author:Gary
import requests
url = 'http://httpbin.org/post'
files = {'file': open('report.txt', 'rb')} # 目录下得有report.txt文件才能上传,rb是指以二进制格式打开一个文件用于只读。
r = requests.post(url, files=files) # 通过files参数指定你想发送的文件的内容
print(r.text)
输出:
{
“args”: {},
“data”: “”,
“files”: {
“file”: “Hello world!”
},
“form”: {},
“headers”: {……
“Content-Type”: “multipart/form-data; boundary=467e443f4c3d403c8559e2ebd009bf4a”,
……
},
“json”: null,
……
}
文本文件report.txt的内容只有一行:Hello world!,从请求的响应结果可以看到数据已上传到服务端中。
到此这篇关于python爬虫使用requests发送post请求示例详解的文章就介绍到这了,更多相关python爬虫使用requests发送post请求内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
相关文章
python软件测试Jmeter性能测试JDBC Request(结合数据库)的使用详解
这篇文章主要介绍了python软件测试Jmeter性能测试JDBC Request(结合数据库)的使用详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2021-01-01
python调用java模块SmartXLS和jpype修改excel文件的方法
这篇文章主要介绍了python调用java模块SmartXLS和jpype修改excel文件的方法,涉及Python调用java模块的相关技巧,非常具有实用价值,需要的朋友可以参考下2015-04-04
python启动办公软件进程(word、excel、ppt、以及wps的et、wps、wpp)
见如下源代码,也可从附件中下载。2009-04-04
python中torch.load中的map_location参数使用
在PyTorch中,torch.load()函数是用于加载保存模型或张量数据的重要工具,map_location参数为我们提供了极大的灵活性,具有一定的参考价值,感兴趣的可以了解一下2024-03-03
Python OpenCV Canny边缘检测算法的原理实现详解
这篇文章主要介绍了Python OpenCV Canny边缘检测算法的原理实现详解,由于边缘检测对噪声敏感,因此对图像应用高斯平滑以帮助减少噪声,具体详情需要的小伙伴可以参考一下2022-07-07
解决List.append() 在 Python 中不起作用的问题
在 Python 中,我们通常使用 List.append() 方法向列表末尾添加元素,然而,在某些情况下,你可能会遇到 List.append() 方法不起作用的问题,本文将详细讨论这个问题并提供解决方法,需要的朋友可以参考下2023-06-06


最新评论