Python爬虫基于lxml解决数据编码乱码问题
更新时间：2020年07月31日 08:30:58 作者：This_is_Y
这篇文章主要介绍了Python爬虫基于lxml解决数据编码乱码问题,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高
XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索
XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可以用XPath来选择
XPath于1999年11月16日成为W3C标准，它被设计为供XSLT、XPointer以及其他XML解析软件使用，更多的文档可以访问其官方网站：https://www.w3.org/TR/xpath/
问题状况：
response = requests.get(url=url, headers=headers).text
html = etree.HTML(response)
name = html.xpath("/html/body/div[2]/ul/li[1]/a/p/text()")[0]
print(name)
可以正常获取数据，但是结果是
å·²éªŒè¯ å®‰å…¨ 盾牌
这样子的乱码
解决方法：
name = html.xpath("/html/body/div[2]/ul/li[1]/a/p/text()")[0].encode('ISO-8859-1').decode('UTF-8')
这边的UTF-8根据网页编码情况而定
看网页编码情况
F12
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要给大家介绍了关于Python3批量移动指定文件到指定文件夹的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Python3具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-09-09
python中的opencv和PIL(pillow)转化操作
这篇文章主要介绍了python中的opencv和PIL(pillow)转化操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
这篇文章主要为大家详细介绍了如何在 Python 中获取和处理用户的连续输入,包括基本的输入方法、输入验证、异常处理以及一些常见的应用场景,感兴趣的可以了解下2024-03-03
这篇文章主要介绍了Python实现读取json文件到excel表，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-11-11
在python2.7版本中，MySQLdb模块还不是python的内置模块，但是MySQLdb模块又是Python与MySQL连接的桥梁，对于作为MySQL DBA又很喜欢Python语言的我来说，MySQLdb真的是必需品呢。所以就需要自己进行安装了，这篇文章就给大家详细介绍了关于用yum安装MySQLdb模块的步骤。2016-12-12
这篇文章主要介绍了Numpy 理解ndarray对象的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
这篇文章主要介绍了Python多进程与服务器并发原理及用法,深入浅出的介绍了进程、并行、并发、同步、异步等相关概念与原理,并结合实例形式给出了Python多进程编程相关操作技巧,需要的朋友可以参考下2018-08-08
今天小编就为大家分享一篇Pycharm运行加载文本出现错误的解决方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-06-06
这篇文章主要为大家详细介绍了python实现数字炸弹游戏程序，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2020-07-07
这篇文章主要介绍了使用Python内置的模块与函数进行不同进制的数的转换的方法,Python也使得读取纯二进制文件内容非常方便,需要的朋友可以参考下2016-03-03
最新评论