python 采集中文乱码问题的完美解决方法
更新时间：2016年09月27日 17:50:05 投稿：jingxian
下面小编就为大家带来一篇python 采集中文乱码问题的完美解决方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
近几日遇到采集某网页的时候大部分网页OK,少部分网页出现乱码的问题,调试了几日,终于发现了是含有一些非法字符造成的..特此记录
1. 在正常情况下..可以用
import chardet thischarset = chardet.detect(strs)["encoding"]
来获取该文件或页面的编码方式
或直接抓取页面的charset = xxxx 来获取
2. 遇到内容中有特殊字符时指定的编码一样会造成乱码..即内容中非法字符造成的,可以采用编码忽略非法字符的方式来处理.
strs = strs.decode("UTF-8","ignore").encode("UTF-8")
decode的第二个参数表示遇到非法字符时所采取的方式
该参数默认为抛出异常.
以上就是小编为大家带来的python 采集中文乱码问题的完美解决方法的全部内容了，希望对大家有所帮助，多多支持脚本之家~
相关文章
人工智能和区块链诞生至今已经有了十几年，当这些技术出现时，人们都说他们会改变世界，但至今为止，这两项技术对现实的影响依然有限，接下来通过本文介绍下从0编写区块链之用python解释区块链最基本原理,需要的朋友可以参考下2022-02-02
这篇文章主要为大家详细介绍了python中的getter与setter，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2022-03-03
程序从程序入口进入,到程序执行结束,大体是按照顺序结构执行语句、函数或代码块,掌握程序的结构,有利于把握程序的主体框架,下面这篇文章主要给大家介绍了关于Python编程之顺序执行与程序的主入口的相关资料,需要的朋友可以参考下2022-12-12
python+mediapipe+opencv实现手部关键点检测功能(手势识别)
这篇文章主要介绍了python+mediapipe+opencv实现手部关键点检测功能(手势识别),本文仅仅简单介绍了mediapipe的使用，而mediapipe提供了大量关于图像识别等的方法，需要的朋友可以参考下2022-01-01
在这篇博客中,我将介绍如何使用Python的wxPython库开发一个GUI应用程序,该应用程序可以选择文件夹中的.lnk（快捷方式）文件,并将选中的文件导出为特定格式的buttons.ini配置文件,需要的朋友可以参考下2025-01-01
今天小编就为大家分享一篇Pytorch之view及view_as使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
在本篇文章里小编给大家整理的是关于Python容器使用的5个技巧和2个误区的相关知识点内容，需要的朋友们学习下。2019-09-09
最近在学习Django，本文主要介绍了Django与数据库交互的实现，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-06-06
这篇文章主要介绍了Python生成器定义与简单用法,结合实例形式较为详细的分析了Python生成器的概念、原理、使用方法及相关操作注意事项,需要的朋友可以参考下2018-04-04
这篇文章主要weidajia 介绍了python目标检测非极大抑制NMS与Soft-NMS实现过程，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
最新评论