脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python HTTP请求

Python中HTTP请求的全面指南

 更新时间：2024年10月29日 11:00:53   作者：傻啦嘿哟  
在现代网络应用中,HTTP（HyperText Transfer Protocol）协议是客户端与服务器之间数据传输的核心,本文都将从基础到高级,逐步引导你成为HTTP请求处理的高手,快跟随小编一起学习起来吧

在现代网络应用中，HTTP（HyperText Transfer Protocol）协议是客户端与服务器之间数据传输的核心。作为Python开发者，了解和掌握如何发送和处理HTTP请求至关重要。无论你是开发Web应用、爬虫，还是进行API集成，本文都将从基础到高级，逐步引导你成为HTTP请求处理的高手。

一、HTTP请求基础知识

HTTP是一种无状态的应用层协议，用于客户端和服务器之间的数据传输。其主要特点包括请求-响应模型、无状态性以及对多种数据格式的支持。

  • 请求-响应模型：客户端发送请求，服务器处理请求并返回响应。
  • 无状态：每个请求都是独立的，服务器不会记住前一个请求的状态。
  • 支持多种数据格式：HTTP可以传输文本、图像、视频等多种类型的数据。

一个HTTP请求由请求行、请求头和请求体三部分组成：

  • 请求行：包含请求方法（如GET、POST）、请求URL和HTTP版本。
  • 请求头：包含请求的附加信息，如浏览器类型、接受的内容类型等。
  • 请求体：可选部分，通常用于POST请求，包含要发送的数据。

一个HTTP响应则包含状态行、响应头和响应体：

  • 状态行：包含HTTP版本、状态码（如200、404）和状态信息。
  • 响应头：包含响应的附加信息，如内容类型、内容长度等。
  • 响应体：实际的响应数据，如HTML页面、JSON数据等。

二、Python中的HTTP请求库

Python提供了多个模块和库来处理HTTP请求和响应，其中最常用的库是requests。requests库功能强大且易于使用，是发送HTTP请求的流行选择。

安装requests库

你可以使用pip命令来安装requests库：

pip install requests

使用requests库发送HTTP请求

requests库提供了简单的API来发送HTTP请求，包括GET、POST、PUT、DELETE等常见方法。

GET请求

GET请求用于从服务器获取数据。以下是一个简单的GET请求示例：

import requests  
  
response = requests.get('https://jsonplaceholder.typicode.com/posts')  
print(response.status_code)  # 打印状态码  
print(response.json())  # 打印返回的JSON数据

在这个例子中，我们发送了一个GET请求到https://jsonplaceholder.typicode.com/posts，并打印了响应的状态码和JSON数据。

POST请求

POST请求用于向服务器发送数据。以下是一个简单的POST请求示例：

import requests  
  
data = {'title': 'foo', 'body': 'bar', 'userId': 1}  
response = requests.post('https://jsonplaceholder.typicode.com/posts', json=data)  
print(response.status_code)  # 打印状态码  
print(response.json())  # 打印返回的JSON数据

在这个例子中，我们发送了一个POST请求到https://jsonplaceholder.typicode.com/posts，并发送了包含标题、正文和用户ID的JSON数据。

PUT请求

PUT请求用于更新服务器上的资源。以下是一个简单的PUT请求示例：

import requests  
  
data = {'id': 1, 'title': 'updated title', 'body': 'updated body', 'userId': 1}  
response = requests.put('https://jsonplaceholder.typicode.com/posts/1', json=data)  
print(response.status_code)  # 打印状态码  
print(response.json())  # 打印返回的JSON数据

在这个例子中，我们发送了一个PUT请求到https://jsonplaceholder.typicode.com/posts/1，并更新了指定帖子的标题、正文和用户ID。

DELETE请求

DELETE请求用于删除服务器上的资源。以下是一个简单的DELETE请求示例：

import requests  
  
response = requests.delete('https://jsonplaceholder.typicode.com/posts/1')  
print(response.status_code)  # 打印状态码

在这个例子中，我们发送了一个DELETE请求到https://jsonplaceholder.typicode.com/posts/1，并删除了指定帖子。

三、处理HTTP响应

在处理HTTP响应时，我们通常需要获取状态码、响应头和响应体。

获取状态码

状态码表示请求的处理结果，常见状态码包括：

  • 200：请求成功。
  • 404：请求的资源未找到。
  • 500：服务器内部错误。

获取状态码的示例：

response = requests.get('https://jsonplaceholder.typicode.com/posts')  
print(f"状态码: {response.status_code}")

获取响应头

响应头包含服务器返回的附加信息，可以通过headers属性获取：

response = requests.get('https://jsonplaceholder.typicode.com/posts')  
print("响应头:")  
for key, value in response.headers.items():  
    print(f"{key}: {value}")

获取响应体

响应体是实际的数据内容，可以通过text或json()方法获取：

response = requests.get('https://jsonplaceholder.typicode.com/posts')  
print("响应体:")  
print(response.text)  # 以字符串形式获取  
print(response.json())  # 以JSON格式获取

四、高级技巧与实践

除了基本的HTTP请求和响应处理外，还有一些高级技巧和实践可以帮助你更高效地发送和处理HTTP请求。

使用连接池

建立HTTP连接是一个耗时的操作，为了减少连接的开销，你可以使用连接池来复用已有的连接。在requests库中，你可以通过设置Session对象来启用连接池。

import requests  
  
session = requests.Session()  
  
# 使用session发送多个请求  
response1 = session.get('https://jsonplaceholder.typicode.com/posts/1')  
response2 = session.get('https://jsonplaceholder.typicode.com/posts/2')  
  
# 关闭session  
session.close()

设置请求头

在发送HTTP请求时，设置合适的请求头信息是非常重要的。例如，设置User-Agent可以模拟不同的浏览器行为，设置Accept-Encoding可以支持压缩以减少传输的数据量。

headers = {  
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}  
response = requests.get('https://example.com', headers=headers)

处理Cookies和Session

如果需要保持会话状态或进行多次请求，建议使用requests.Session()来管理会话，它会自动处理Cookies的持久化和发送。

session = requests.Session()  
  
# 登录并获取cookies  
login_data = {'username': 'your_username', 'password': 'your_password'}  
response = session.post('https://example.com/login', data=login_data)  
  
# 使用session发送其他请求  
response = session.get('https://example.com/protected_page')

错误处理

检查HTTP响应状态码以确保请求成功。对于非200的响应，应适当处理错误，并记录详细的错误信息以便调试。

try:  
    response = requests.get('https://example.com/nonexistent_page')  
    response.raise_for_status()  # 如果状态码不是200，则引发HTTPError异常  
except requests.exceptions.HTTPError as errh:  
    print("Http Error:", errh)  
except requests.exceptions.ConnectionError as errc:  
    print("Error Connecting:", errc)  
except requests.exceptions.Timeout as errt:  
    print("Timeout Error:", errt)  
except requests.exceptions.RequestException as err:  
    print("OOps: Something Else", err)

设置超时时间

为了防止请求无限期地等待，应设置合理的超时时间。这可以通过在请求中传递timeout参数来实现。

response = requests.get('https://example.com', timeout=5)  # 设置超时时间为5秒

使用代理

有时候，由于网络环境的限制，直接发起HTTP请求可能会遇到速度瓶颈。这时，你可以考虑使用代理来绕过限制，提高请求速度。

proxies = {  
    'http': 'http://10.10.1.10:3128',  
    'https': 'http://10.10.1.10:3128'
    }
 
response = requests.get('https://www.zdaye.com', proxies=proxies)  
print(response.text)

注意，代理服务器的URL格式通常为协议://地址:端口。如果你需要身份验证，可以在URL中包含用户名和密码，如http://user:password@proxy.server:port。

HTTP认证

有些网站需要HTTP基本认证才能访问。requests库通过AuthBase类及其子类HTTPBasicAuth来处理这种情况。

from requests.auth import HTTPBasicAuth  
  
url = 'https://example.com/protected'  
username = 'your_username'  
password = 'your_password'  
  
response = requests.get(url, auth=HTTPBasicAuth(username, password))  
print(response.text)

此外，requests库还支持OAuth等更复杂的认证机制，这通常需要通过第三方库来实现。

五、高级功能与实践

自定义请求头

除了常见的User-Agent和Accept-Encoding之外，你还可以根据需要自定义其他请求头。

headers = {  
    'User-Agent': 'Custom User Agent',  
    'Custom-Header': 'CustomHeaderValue',  
}  
  
response = requests.get('https://example.com', headers=headers)  
print(response.headers)

文件上传

使用requests库上传文件非常简单。你只需要将文件对象作为文件字段的一部分传递给POST请求。

url = 'https://example.com/upload'  
files = {'file': open('example.txt', 'rb')}  
  
response = requests.post(url, files=files)  
print(response.text)

流式响应

对于大文件或长时间运行的请求，你可能希望以流的方式处理响应数据，以避免将整个响应内容一次性加载到内存中。

response = requests.get('https://example.com/largefile', stream=True)  
with open('largefile', 'wb') as f:  
    for chunk in response.iter_content(chunk_size=8192):  
        f.write(chunk)

处理重定向

requests库默认会自动处理HTTP重定向。但如果你需要控制重定向的行为，可以通过设置allow_redirects参数来实现。

response = requests.get('https://example.com/redirect', allow_redirects=False)  
print(response.status_code)  # 可能会是301或302  
print(response.headers['Location'])  # 重定向的目标URL

SSL证书验证

默认情况下，requests库会验证SSL证书。但在某些情况下，你可能需要忽略SSL验证（例如，在测试环境中）。虽然不推荐在生产环境中这样做，但你可以通过设置verify参数为False来实现。

response = requests.get('https://example.com', verify=False)  
print(response.text)

然而，更好的做法是指定一个CA证书文件来验证服务器的SSL证书。

response = requests.get('https://example.com', verify='/path/to/cacert.pem')  
print(response.text)

六、总结

本文全面介绍了如何在Python中使用requests库发送和处理HTTP请求。从基础知识到高级技巧，我们涵盖了GET、POST、PUT、DELETE等常见请求方法，以及如何处理HTTP响应、设置请求头、管理Cookies和会话、处理错误、设置超时时间、使用代理和进行HTTP认证等内容。

以上就是Python中HTTP请求的全面指南的详细内容，更多关于Python HTTP请求的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

相关文章

  • python selenium 弹出框处理的实现

    python selenium 弹出框处理的实现

    这篇文章主要介绍了python selenium 弹出框处理的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-02-02
  • selenium+python自动化测试之页面元素定位

    selenium+python自动化测试之页面元素定位

    这篇文章主要介绍了selenium+python自动化测试之页面元素定位，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2019-01-01
  • OpenCV简单标准数字识别的完整实例

    OpenCV简单标准数字识别的完整实例

    这篇文章主要给大家介绍了关于OpenCV简单标准数字识别的相关资料,要通过opencv 进行数字识别离不开训练库的支持，需要对目标图片进行大量的训练，才能做到精准的识别出目标数字,需要的朋友可以参考下
    2021-09-09
  • Python 面向对象之类class和对象基本用法示例

    Python 面向对象之类class和对象基本用法示例

    这篇文章主要介绍了Python 面向对象之类class和对象基本用法,结合实例形式详细分析了Python面向对象程序设计中类class和对象基本概念、原理、使用方法与操作注意事项,需要的朋友可以参考下
    2020-02-02
  • Windows平台Python连接sqlite3数据库的方法分析

    Windows平台Python连接sqlite3数据库的方法分析

    这篇文章主要介绍了Windows平台Python连接sqlite3数据库的方法,结合实例形式分析了Windows平台安装SQLite数据库及创建、连接数据库的实现方法与相关注意事项,需要的朋友可以参考下
    2017-07-07
  • Python中Functools模块的高级操作详解

    Python中Functools模块的高级操作详解

    functools模块是Python标准库中的一个宝库,提供了一些有用的功能,可以帮助您更好地利用函数的潜力,下面小编就来为大家介绍一下functools模块的相关具体使用吧
    2023-11-11
  • Python导出DBF文件到Excel的方法

    Python导出DBF文件到Excel的方法

    这篇文章主要介绍了Python导出DBF文件到Excel的方法,实例分析了Python基于win32com模块实现文件导出与转换的相关技巧,需要的朋友可以参考下
    2015-07-07
  • python使用urllib模块和pyquery实现阿里巴巴排名查询

    python使用urllib模块和pyquery实现阿里巴巴排名查询

    这篇文章主要介绍了python库urllib及pyquery基本东西的应用，实现阿里巴巴关键词排名的查询，其中涉及到urllib代理的设置，pyquery对html文档的解析
    2014-01-01
  • Python使用lambda抛出异常实现方法解析

    Python使用lambda抛出异常实现方法解析

    这篇文章主要介绍了Python使用lambda抛出异常实现方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-08-08
  • keras分类模型中的输入数据与标签的维度实例

    keras分类模型中的输入数据与标签的维度实例

    这篇文章主要介绍了keras分类模型中的输入数据与标签的维度实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-07-07

最新评论