Python之进行URL编码案例讲解
更新时间：2021年08月09日 09:24:15 作者：曾记否？
这篇文章主要介绍了Python之进行URL编码案例讲解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下
为什么要对URL进行encode
在写网络爬虫时，发现提交表单中的中文字符都变成了TextBox1=%B8%C5%C2%CA%C2%DB这种样子，观察这是中文对应的GB2312编码，实际上是进行了GB2312编码和urlencode。
那么为什么要对URL进行encode？
因为在标准的url规范中中文和很多的字符是不允许出现在url中的。为了字符编码（gbk、utf-8）和特殊字符不出现在url中，url转义是为了符合url的规范。
具体代码
urlencode编码：urllib中的quote方法
import urllib.parse
chinese_str = '中文'
# 先进行gb2312编码
chinese_str = chinese_str.encode('gb2312')
# 输出 b'\xd6\xd0\xce\xc4'
# 再进行urlencode编码
chinese_str_url = urllib.parse.quote(chinese_str)
# 输出 %D6%D0%CE%C4
urldecode解码：urllib中的unquote方法
# 由于编码问题会报错，还未解决
urllib.parse.unquote('%D6%D0%CE%C4')
# ：的url编码为%3A，可输出 http://www.baidu.com
urllib.parse.unquote('http%3A//www.baidu.com')
其它应用
URL中%u开头的字符
在网页的表单参数中，还遇到过%u开头的字符，得知是中文对应的Unicode编码值
以下代码可以实现字符与unicode编码值的转换
str = '姓名'
# 获得urlencode编码
str = str.encode('unicode_escape')
print(str)
# 输出 b'\\u59d3\\u540d'
str=str.decode('utf-8')
print(str)
# 输出 \u59d3\u540d
str=str.encode('utf-8')
print(str)
# 输出 b'\\u59d3\\u540d'
str=str.decode('unicode_escape')
print(str)
# 输出 姓名
hidden隐藏域对象作为表单参数
在爬取ASP.NET平台的网站信息时，有VIEWSTATE、EVENTVALIDATION这样的hidden隐藏域对象，作为表单参数发送post请求，所以需要从网页源代码中获取。
但post请求中的参数值是URL编码值，而网页源码中获取到的是URL解码值，所以需要进行urlencode编码。
相关代码
# 网页源码上得到之后，需要urlencode编码 hid['VIEWSTATE'] = urllib.parse.quote(soup.find(id="__VIEWSTATE")['value'])
相关工具
谷歌浏览器的开发者工具中可以查看参数的urlencode和decode值
可选择编码格式为UTF-8或GB2312
可查汉字的GB2312等中文编码和Unicode编码
参考链接
python中的urlencode和urldecode(代码)
到此这篇关于Python之进行URL编码案例讲解的文章就介绍到这了,更多相关Python之进行URL编码内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
本次要总结的的内置函数共8个,他们都跟面向对象的知识相关,文中有非常详细的介绍及代码示例,需要的朋友可以参考下2021-06-06
这篇文章主要给大家介绍了关于Pytorch中view函数的相关资料,PyTorch中的.view()函数是一个用于改变张量形状的方法,文中通过代码介绍的非常详细,需要的朋友可以参考下2023-09-09
开始以为Python中没有像其他语言一样的条件判断的缩写形式：2008-09-09
大家好，本篇文章主要讲的是Python中经常使用的代码片段，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下2022-01-01
这篇文章主要介绍了Python如何实现数字的格式化输出，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下2020-08-08
这篇文章主要介绍了python密码学简单替代密码解密及测试教程，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
今天小编就为大家分享一篇python numpy生成等差数列、等比数列的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
这篇文章主要介绍了python之json文件转xml文件案例讲解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下2021-08-08
程序设计的模块化指的是在进行程序设计时，把一个大的程序功能划分为若干个小的程序模块。每一个小程序模块实现一个确定的功能，并且在这些小程序模块实现的功能之间建立必要的联系。本文将利用示例详细介绍一下Python的模块化程序设计，需要的可以参考一下2022-03-03
本文主要介绍了pytorch中部分矩阵乘法和数组乘法的小结，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-03-03
最新评论