判断网页编码的方法python版
更新时间：2016年08月12日 14:34:53 作者：mickelfeng
这篇文章主要为大家详细介绍了python代码判断网页编码的方法，感兴趣的小伙伴们可以参考一下
在web开发的时候我们经常会遇到网页抓取和分析，各种语言都可以完成这个功能。我喜欢用python实现，因为python提供了很多成熟的模块，可以很方便的实现网页抓取。
但是在抓取过程中会遇到编码的问题，那今天我们来看一下如何判断网页的编码：
网上很多网页的编码格式都不一样，大体上是GBK,GB2312，UTF-8等。
我们在获取网页的的数据后，先要对网页的编码进行判断，才能把抓取的内容的编码统一转换为我们能够处理的编码，避免乱码问题的出现。
下面介绍两种判断网页编码的方法：
总结：第二个方法很准确，在网页编码分析的时候用python模块分析内容是最准确的，而使用分析meta头信息的方法是不太准确的。
方法一：使用urllib模块的getparam方法
import urllib
#autor：pythontab.com
fopen1 = urllib.urlopen('http://www.baidu.com').info()
print fopen1.getparam('charset')# baidu
方法二：使用chardet模块
#如果你的python没有安装chardet模块，你需要首先安装一下chardet判断编码的模块哦
#author:pythontab.com
import chardet
import urllib
#先获取网页内容
data1 = urllib.urlopen('http://www.baidu.com').read()
#用chardet进行内容分析
chardit1 = chardet.detect(data1)
print chardit1['encoding'] # baidu
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
您可能感兴趣的文章:
相关文章
这篇文章主要介绍了Python参数传递对象的引用原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-05-05
解决python 未发现数据源名称并且未指定默认驱动程序的问题
今天小编就为大家分享一篇解决python 未发现数据源名称并且未指定默认驱动程序的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
这篇文章主要介绍了使用pycharm创建新的项目环境并使用conda进行配置和使用pycharm引用已有的conda虚拟环境,文中通过图文结合的方式介绍的非常详细,需要的朋友可以参考下2024-05-05
在本篇文章中小编给大家带来的是关于python中sort和sorted排序的实例方法以及相关知识点，有需要的朋友们可以学习下。2019-08-08
这篇文章主要介绍了django认证系统 Authentication使用详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-07-07
页面大小确定文档中每个页面的尺寸和布局,有时我们会需要自定义页面大小以满足特定要求,下面我们就来看看如何使用Python实现这一效果吧2024-03-03
Python使用ImageGrab截图主要依赖于Pillow库（PIL库的一个分支）,该库提供了ImageGrab模块来实现屏幕截图功能,以下是一个详细的截图教程,需要的朋友可以参考下2025-01-01
python2与python3爬虫中get与post对比解析
这篇文章主要介绍了python2与python3爬虫中get与post对比解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
今天小编就为大家分享一篇python 中值滤波,椒盐去噪,图片增强实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
这篇文章主要介绍了python查看FTP是否能连接成功的方法,实例分析了Python连接FTP的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-07-07
最新评论