详解用Python处理HTML转义字符的5种方式

 更新时间:2017年12月27日 08:35:32   作者:liuzhijun  
本文介绍了详解用Python处理HTML转义字符的5种方式,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

写爬虫是一个发送请求,提取数据,清洗数据,存储数据的过程。在这个过程中,不同的数据源返回的数据格式各不相同,有 JSON 格式,有 XML 文档,不过大部分还是 HTML 文档,HTML 经常会混杂有转移字符,这些字符我们需要把它转义成真正的字符。

什么是转义字符

在 HTML 中 <、>、& 等字符有特殊含义(<,> 用于标签中,& 用于转义),他们不能在 HTML 代码中直接使用,如果要在网页中显示这些符号,就需要使用 HTML 的转义字符串(Escape Sequence),例如 < 的转义字符是 <,浏览器渲染 HTML 页面时,会自动把转移字符串换成真实字符。

转义字符(Escape Sequence)由三部分组成:第一部分是一个 & 符号,第二部分是实体(Entity)名字,第三部分是一个分号。 比如,要显示小于号(<),就可以写< 。

显示字符 说明 转义字符
< 小于 <
空格
< 小于 <
> 大于 >
& &符号 &
" 双引号 "
© 版权 ©
® 已注册商标 ®

Python 反转义字符串

用 Python 来处理转义字符串有多种方式,而且 py2 和 py3 中处理方式不一样,在 python2 中,反转义串的模块是 HTMLParser。

# python2
import HTMLParser
>>> HTMLParser().unescape('a=1&b=2')
'a=1&b=2'

Python3 HTMLParser 模块迁移到了 html.parser

# python3
>>> from html.parser import HTMLParser
>>> HTMLParser().unescape('a=1&b=2')
'a=1&b=2'

到 python3.4 以后的版本,在 html 模块新增了 unescape 方法。

# python3.4
>>> import html
>>> html.unescape('a=1&b=2')
'a=1&b=2'

推荐最后一种写法,因为 HTMLParser.unescape 方法在 Python3.4 就已经被废弃掉不推荐使用了,意味着之后的版本会被彻底移除。

另外,sax 模块也有支持反转义的函数

>>> from xml.sax.saxutils import unescape
>>> unescape('a=1&b=2')
'a=1&b=2'

当然,你完全可以实现自己的反转义功能,也不复杂,当然,我们崇尚不重复造轮子。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • python如何按照自己顺序读出文件名

    python如何按照自己顺序读出文件名

    这篇文章主要介绍了python如何按照自己顺序读出文件名问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • python爬虫之快速对js内容进行破解

    python爬虫之快速对js内容进行破解

    这篇文章主要介绍了python爬虫之快速对js内容进行破解,到一般js破解有两种方法,一种是用Python重写js逻辑,一种是利用第三方库来调用js内容获取结果,这次我们就用第三方库来进行js破解,需要的朋友可以参考下
    2019-07-07
  • Python Pandas处理CSV文件的常用技巧分享

    Python Pandas处理CSV文件的常用技巧分享

    这篇文章主要和大家分享几个Python Pandas中处理CSV文件的常用技巧,如:统计列值出现的次数、筛选特定列值、遍历数据行等,需要的可以参考一下
    2022-06-06
  • 网站渗透常用Python小脚本查询同ip网站

    网站渗透常用Python小脚本查询同ip网站

    这篇文章主要介绍了网站渗透常用Python小脚本查询同ip网站,需要的朋友可以参考下
    2017-05-05
  • Python下载手机小视频的操作方法

    Python下载手机小视频的操作方法

    这篇文章主要介绍了Python 下载手机小视频,主要为大家介绍使用 mitmproxy 这个抓包工具如何监控手机上网,并且通过抓包,把我们想要的数据下载下来,需要的朋友可以参考下
    2022-04-04
  • python对指定目录下文件进行批量重命名的方法

    python对指定目录下文件进行批量重命名的方法

    这篇文章主要介绍了python对指定目录下文件进行批量重命名的方法,涉及Python中replace及join方法的使用技巧,非常具有实用价值,需要的朋友可以参考下
    2015-04-04
  • set在python里的含义和用法

    set在python里的含义和用法

    在本篇内容中我们给大家整理了关于set在python里的用法含义等相关知识点内容,有兴趣的朋友们可以学习下。
    2019-06-06
  • python误差棒图errorbar()函数实例解析

    python误差棒图errorbar()函数实例解析

    这篇文章主要介绍了python误差棒图errorbar()函数实例解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-02-02
  • 利用Python3编写一个电脑录屏神器

    利用Python3编写一个电脑录屏神器

    这篇文章主要为大家详细介绍了如何利用Python3编写一个简易的电脑录屏神器,文中的示例代码讲解详细,感兴趣的小伙伴可以动手尝试一下
    2022-08-08
  • 用python将word文档合并实例代码

    用python将word文档合并实例代码

    大家好,本篇文章主要讲的是用python将word文档合并实例代码,感兴趣的同学赶快老看一看吧,对你有帮助的话记得收藏一下,方便下次浏览
    2021-12-12

最新评论