Python urllib 入门使用详细教程

更新时间：2022年11月15日 16:35:36 作者：卡尔特斯

urllib 库，它是 Python 内置的 HTTP 请求库，不需要额外安装即可使用，这篇文章主要介绍了Python urllib 入门使用,需要的朋友可以参考下

一、简介

urllib 库，它是 Python 内置的 HTTP 请求库，不需要额外安装即可使用，它包含四个模块：

`request` 请求模块，提供最基本的 `HTTP` 请求处理。
`parse` 工具模块，提供处理 `url` 的很多方法：拆分、解析、合并等等。
`error` 异常处理模块，如果出现请求错误，可以捕获这些错误，保证程序不会意外终止。
`robotparser` 模块，主要用来识别网站的 `robots.txt` 文件，判断哪些网站可以爬取，用的比较少。

二、 request 模块

1、urlopen：打开一个指定 URL，然后使用 read() 获取网页的 HTML 实体代码。

# 使用 urllib
import urllib.request

# 1、定义一个 url
url = 'http://www.baidu.com'

# 2、模拟浏览器向服务器发送请求
response = urllib.request.urlopen(url)

# 3、获取响应数据中的页面源码（注意：read() 返回的是字节形式的二进制数据，返回数据会被 b'xxx' 进行包裹）
content = response.read()

# 4、输出二进制数据 content
print(content)
# 输出结果：b'<html>\r\n<head>\r\n\t<script>\r\n\t\tlocation.replace(location.href.replace("https://","http://"));\r\n\t</script>\r\n</head>\r\n<body>\r\n\t<noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>\r\n</body>\r\n</html>'

# 5、将二进制数据转成字符串，这里需要网页对应的编码格式（例如：<meta http-equiv="Content-Type" content="text/html;charset=utf-8">），charset= 的就是编码格式 utf-8
content = content.decode('utf-8')

# 6、输出字符串 content
print(content)

2、response：响应的数据对象 HTTPResponse 类型

# 使用 urllib
import urllib.request

# 1、定义一个 url
url = 'http://www.baidu.com'

# 2、模拟浏览器向服务器发送请求
response = urllib.request.urlopen(url)

# response 是 http.client.HTTPResponse 类型
print(type(response))

# read 方法是按照一个字节一个字节的去读取内容
content = response.read()
print(content)

# read 方法可以指定读取多少个字节
content = response.read(50)
print(content)

# 读取一行
content = response.readline()
print(content)

# 读取所有行
content = response.readlines()
print(content)

# 获取状态码
print(response.getcode())

# 获取访问的链接地址
print(response.geturl())

# 获取 headers
print(response.getheaders())

3、Request：自定义请求对象

# 使用 urllib
import urllib.request

# url 的组成
# https://www.baidu.com/s?wd=123

# 协议         主机               端口号    路径   参数   锚点
# http/https   www.baidu.com      80      s     wd     #
# http                            80
# https                           443
# mysql                           3306
# oracle                          1521
# redis                           6379
# mongdb                          27017

# 1、定义一个 https 的 url
url = 'https://www.baidu.com'

# 2、模拟浏览器向服务器发送请求
response = urllib.request.urlopen(url)

# 3、获取内容字符串
content = response.read().decode('utf-8')

# 4 会发现直接这么拿回来的数据不完整，这就是反扒的其中一种，代表给到服务器识别的信息不完整，比如 header 头里面的请求信息缺少。
print(content)

# 解决方式：

# 定义 header
headers = {
  # UA 最基本的防爬识别
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
}

# 1、定义一个 https 的 url
url = 'https://www.baidu.com'

# 2、定义一个 Request 对象，urlopen 方法并不能直接带 header。
# 细节：为什么这里需要写 url=url 而有的地方不需要？因为 Request 构造方法传参顺序问题 Request(url, data=None, headers={} ...)
request = urllib.request.Request(url=url, headers=headers)

# 3、模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)

# 3、获取内容字符串
content = response.read().decode('utf-8')

# 4 输出
print(content)

4、urlretrieve：下载（例如：图片、视频、网页源码…）

# 使用 urllib
import urllib.request

# 下载网页
url = 'http://www.baidu.com'

# 参数1：页面地址，参数2：文件名称（或路径与名称，例如：./test/baidu.html、baidu.html，不指定路径默认当前）
urllib.request.urlretrieve(url, 'baidu.html')


# 下载图片
url = 'https://gimg2.baidu.com/image_search/src=http%3A%2F%2Fpic1.win4000.com%2Fwallpaper%2F8%2F55402f62682e3.jpg&refer=http%3A%2F%2Fpic1.win4000.com&app=2002&size=f9999,10000&q=a80&n=0&g=0n&fmt=auto?sec=1670904201&t=2dc001fbd959432efe8b8ee0792589ba'

# 参数1：页面地址，参数2：文件名称（或路径与名称，例如：./test/baidu.html、baidu.html，不指定路径默认当前）
urllib.request.urlretrieve(url, 'dzm.jpg')

二、 parse 模块

1、quote：（GET）参数进行 unicode 编码

quote 会对参数进行 unicode 编码，但是得一个一个参数的进行转换，在进行拼接，在多个参数时使用起来比较麻烦。

# 使用 urllib
import urllib.request

# 定义 header
headers = {
  # UA 最基本的防爬识别
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
}

# 1、定义一个 https 的 url

# 这种中文写法会报错，因为 ascii 检索不到
# url = 'https://www.baidu.com/s?wd=卡尔特斯CSDN'

# 也就是需要 `卡尔特斯CSDN` 变成 unicode 编码格式，例如这样：
# url = 'https://www.baidu.com/s?wd=%E5%8D%A1%E5%B0%94%E7%89%B9%E6%96%AFCSDN'

# 准备基础地址（不能整个链接去进行 quote 转换）(GET)
url = 'https://www.baidu.com/s?wd='

# 通过 urllib.parse.quote() 进行转换
wd = urllib.parse.quote('卡尔特斯CSDN')
# print(wd) # %E5%8D%A1%E5%B0%94%E7%89%B9%E6%96%AFCSDN

# 拼接起来
url = url + wd

# 2、定义一个 Request 对象，urlopen 方法并不能直接带 header。
# 细节：为什么这里需要写 url=url 而有的地方不需要？因为 Request 构造方法传参顺序问题 Request(url, data=None, headers={} ...)
request = urllib.request.Request(url=url, headers=headers)

# 3、模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)

# 3、获取内容字符串
content = response.read().decode('utf-8')

# 4 输出
print(content)

2、urlencode：（GET）参数进行 unicode 编码

urlencode 会对多个参数进行 unicode 编码。

# 使用 urllib
import urllib.request

# 定义 header
headers = {
  # UA 最基本的防爬识别
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
}

# 1、定义一个 https 的 url

# 这种中文写法会报错，因为 ascii 检索不到
# url = 'https://www.baidu.com/s?wd=卡尔特斯CSDN&sex=男'

# 也就是需要 `卡尔特斯CSDN` 与 `男` 变成 unicode 编码格式，例如这样：
# url = 'https://www.baidu.com/s?wd=%E5%8D%A1%E5%B0%94%E7%89%B9%E6%96%AFCSDN&sex=%E7%94%B7'

# 准备基础地址（不能整个链接去进行 quote 转换）(GET)
url = 'https://www.baidu.com/s?'

# 参数
params = {
  'wd': '卡尔特斯CSDN',
  'sex': '男'
}

# 通过 urllib.parse.urlencode() 进行转换（多个参数）
str = urllib.parse.urlencode(params)
# print(str) # wd=%E5%8D%A1%E5%B0%94%E7%89%B9%E6%96%AFCSDN&sex=%E7%94%B7

# 通过 urllib.parse.quote() 进行转换（单个参数）
# wd = urllib.parse.urlencode('卡尔特斯CSDN')
# print(wd) # %E5%8D%A1%E5%B0%94%E7%89%B9%E6%96%AFCSDN

# 拼接起来
url = url + str

# 2、定义一个 Request 对象，urlopen 方法并不能直接带 header。
# 细节：为什么这里需要写 url=url 而有的地方不需要？因为 Request 构造方法传参顺序问题 Request(url, data=None, headers={} ...)
request = urllib.request.Request(url=url, headers=headers)

# 3、模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)

# 3、获取内容字符串
content = response.read().decode('utf-8')

# 4 输出
print(content)

2、urlencode：（POST）参数进行 unicode 编码，附：Python爬虫Xpath定位数据的两种方法

# 使用 urllib
import urllib.request
# 使用 json
import json

# 定义 header
headers = {
  # UA 最基本的防爬识别
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
}

# 请求地址（POST）
url = 'https://fanyi.baidu.com/sug'

# 参数
params = {
  'kw': '名称'
}

# post 请求，参数不能进行拼接，需放到请求对象指定的参数对象中

# 通过 urllib.parse.urlencode() 进行转换（多个参数）
# str = urllib.parse.urlencode(params)
# 直接使用转换的参数字符串会报错：POST data should be bytes, an iterable of bytes, or a file object. It cannot be of type str.
# request = urllib.request.Request(url=url, data=str, headers=headers)

# 上面直接使用参数字符串会报错，是因为 post 请求参数必须要要进行编码，指定编码格式
data = urllib.parse.urlencode(params).encode('utf-8')
# 模拟浏览器向服务器发送请求
request = urllib.request.Request(url=url, data=data, headers=headers)

# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)

# 获取内容字符串
content = response.read().decode('utf-8')

# 将字符串转成 json
obj = json.loads(content)

# 输出 json
print(obj)

三、 error 模块（URLError 与 HTTPError）

1、HTTPError 类是 URLError 类的子类。

2、导入包分别是：urllib.error.URLError、urllib.error.HTTPError。

3、通过 urllib 发送请求的时候，有可能发送失败，可以通过 try-except 进行异常捕获，异常有两类：URLError 与 HTTPError 类。

# 使用 urllib
import urllib.request
# 使用 json
import json

# 定义 header
headers = {
  # UA 最基本的防爬识别
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
}

# 请求地址（POST）
url = 'https://fanyi.baidu.com/sug'

# 参数
params = {
  'kw': '名称'
}

# post 请求，参数不能进行拼接，需放到请求对象指定的参数对象中

# 通过 urllib.parse.urlencode() 进行转换（多个参数）
# str = urllib.parse.urlencode(params)
# 直接使用转换的参数字符串会报错：POST data should be bytes, an iterable of bytes, or a file object. It cannot be of type str.
# request = urllib.request.Request(url=url, data=str, headers=headers)

# 上面直接使用参数字符串会报错，是因为 post 请求参数必须要要进行编码，指定编码格式
data = urllib.parse.urlencode(params).encode('utf-8')
# 模拟浏览器向服务器发送请求
request = urllib.request.Request(url=url, data=data, headers=headers)

# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)

# 获取内容字符串
content = response.read().decode('utf-8')

# 将字符串转成 json
obj = json.loads(content)

# 输出 json
print(obj)

四、Handler 处理器（IP 代理）

五、xppath 使用

到此这篇关于Python urllib 入门使用详细教程的文章就介绍到这了,更多相关Python urllib使用内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Pandas中的空字符串(非缺失值)处理方式
这篇文章主要介绍了Pandas中的空字符串(非缺失值)处理方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2023-08-08
Python pandas中to_sql的使用及问题详解
今天在使用 Pandas 的 to_sql 方法时,遇到一些问题,所以下面这篇文章主要给大家介绍了关于Python pandas中to_sql的使用及问题的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
2022-12-12
Python定义函数时参数有默认值问题解决
这篇文章主要介绍了Python定义函数时参数有默认值问题解决,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-12-12
python实例化对象的具体方法
在本篇文章里小编给大家整理的是关于python实例化对象的具体方法，有兴趣的朋友们可以学习下。
2020-06-06
Python Flask的request对象使用详解
本文介绍Flask request对象,一个完整的HTTP请求,包括客户端向服务端发送的Request请求和服务器端发送Response响应.为了能方便访问获取请求及响应报文信息,Flask框架提供了一些内建对象,下面就来说一下Flask针对请求提供内建对象reques,需要的朋友可以参考一下
2023-02-02
Python配置文件管理之ini和yaml文件读取的实现
本文主要介绍了Python配置文件管理之ini和yaml文件读取，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-02-02
Python查找字符串中包含的多个元素的实现
本文详细介绍了如何使用Python查找字符串中包含的多个元素,包括基本字符串操作和使用正则表达式进行高级搜索,具有一定的参考价值,感兴趣的可以了解一下
2024-03-03
Pandas 同元素多列去重的实例
今天小编就为大家分享一篇Pandas 同元素多列去重的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-07-07
快速解决pandas.read_csv()乱码的问题
今天小编就为大家分享一篇快速解决pandas.read_csv()乱码的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-06-06
Python虚拟环境库virtualenvwrapper安装及使用
这篇文章主要介绍了Python虚拟环境库virtualenvwrapper安装及使用,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-06-06