Python信息抽取之乱码解决办法
更新时间：2017年06月29日 09:08:07 投稿：lqh
这篇文章主要介绍了Python信息抽取之乱码解决办法的相关资料,需要的朋友可以参考下
Python信息抽取之乱码解决办法
就事论事，直说自己遇到的情况，和我不一样的路过吧，一样的就看看吧
信息抓取，用python,beautifulSoup,lxml,re,urllib2,urllib2去获取想要抽取的页面内容，然后使用lxml或者beautifulSoup进行解析，插入mysql 具体的内容，好了貌似很简单很easy的样子，可是里面的恶心之处就来了，第一，国内开发网站的人在指定网站编码或者是保存网站源码的时候并没有考虑什么编码，反正一句话，一个网站即使你用工具查看或者查看源码头信息查看到他们的源码是utf-8,或者GBK之类的，也别信，哎，什么东西信了就遭殃了，即<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
以下给出一些流程：（具体各个库不是我这里向说的哦）
import urllib2
import chardet
html = urllib2.urlopen("某网站")
print chardet.detect(html) #这里会输出一个字典{'a':0.99999,'encoding':'utf-8'}
好，这整个html的编码都知道，该插入以utf-8建立的mysql数据库了吧，但是我就在插入的时候发生错误了，因为我使用lxml以后的字符串不是utf-8，而是Big5（繁体字编码）,还有各种未知编码EUC-JP(日本语编码)，OK，我采取了unicode方法，先对这个字段进行解码，在进行编码
if chardet.detect(name)['encoding'] == 'GB2312':
name = unicode(name,'GB2312','ignore').encode('utf-8','ignore')
elif chardet.detect(name)['encoding'] == 'Big5':
name = unicode(name,'Big5','ignore').encode('utf-8','ignore')
elif chardet.detect(name)['encoding'] == 'ascii':
name = unicode(name,'ascii','ignore').encode('utf-8','ignore')
elif chardet.detect(name)['encoding'] == 'GBK':
name = unicode(name,'GBK','ignore').encode('utf-8','ignore')
elif chardet.detect(name)['encoding'] == 'EUC-JP':
name = unicode(name,'EUC-JP','ignore').encode('utf-8','ignore')
else:
name = '未知'
感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！
相关文章
这篇文章主要介绍了python中路径的三种写法+路径前符号含义解读，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-03-03
本文主要介绍了PyQt5+PyQt5Designer的安装步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-01-01
python爬取w3shcool的JQuery课程并且保存到本地
本文主要介绍python爬取w3shcool的JQuery的课程并且保存到本地的方法解析。具有很好的参考价值。下面跟着小编一起来看下吧2017-04-04
Django实现增删改查,主要是依赖于models来实现的,下面这篇文章主要给大家介绍了关于Django完整增删改查系统的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-08-08
今天小编就为大家分享一篇Python计算IV值的示例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
今天小编就为大家分享一篇python 实现兔子生兔子示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-11-11
本文主要介绍了在CMD窗口中调用python函数的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-07-07
在刚刚接触python时，我们会被其优美的格式、简洁的语法和无穷无尽的类库所震撼。在真正的将python应用到实际的项目中，你会遇到一些无法避免的问题。最让人困惑不解的问题有二类，一个编码问题，另一个则是引用问题。本文主要讨论关于Python中import的机制与实现2017-11-11
python orm 框架中sqlalchemy用法实例详解
这篇文章主要介绍了python orm 框架中sqlalchemy用法,结合实例形式详细分析了Python orm 框架基本概念、原理及sqlalchemy相关使用技巧,需要的朋友可以参考下2020-02-02
这篇文章主要介绍了python获取指定时间段内特定规律的日期列表,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-04-04
最新评论