脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python 爬取网页

浅谈Python爬取网页的编码处理

 更新时间：2016年11月04日 10:18:41   投稿：jingxian  
下面小编就为大家带来一篇浅谈Python爬取网页的编码处理。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧

背景

中秋的时候，一个朋友给我发了一封邮件，说他在爬链家的时候，发现网页返回的代码都是乱码，让我帮他参谋参谋(中秋加班，真是敬业= =！)，其实这个问题我很早就遇到过，之前在爬小说的时候稍微看了一下，不过没当回事，其实这个问题就是对编码的理解不到位导致的。

问题

很普通的一个爬虫代码，代码是这样的：

# ecoding=utf-8
import re
import requests
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'
res = requests.get(url)
print res.text

目的其实很简单，就是爬一下链家的内容，但是这样执行之后，返回的结果，所有涉及到中文的内容，全部会变成乱码，比如这样

<script type="text/template" id="newAddHouseTpl">
 <div class="newAddHouse">
  自从您上次浏览（<%=time%>ï¼‰ä¹‹åŽï¼Œè¯¥æœç´¢æ¡ä»¶ä¸‹æ–°å¢žåŠ äº†<%=count%>套房源
  <a href="<%=url%>" class="LOGNEWERSHOUFANGSHOW" <%=logText%>><%=linkText%></a>
  <span class="newHouseRightClose">x</span>
 </div>
</script>

这样的数据拿来可以说毫无作用。

问题分析

这里的问题很明显了，就是文字的编码不正确，导致了乱码。

查看网页的编码

从爬取的目标网页的头来看，网页是用utf-8来编码的。

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

所以，最终的编码，我们肯定也要用utf-8来处理，也就是说，最终的文本处理，要用utf-8来解码，也就是：decode('utf-8')

文本的编码解码

Python的编码解码的过程是这样的，源文件 ===》 encode(编码方式) ===》decode(解码方式)，在很大的程度上，不推荐使用

import sys
reload(sys)
sys.setdefaultencoding('utf8')

这种方式来硬处理文字编码。不过在某些时候不影响的情况下，偷偷懒也不是什么大问题，不过比较建议的就是获取源文件之后，使用encode和decode的方式来处理文本。

回到问题

现在问题最大的是源文件的编码方式，我们正常使用requests的时候，它会自动猜源文件的编码方式，然后转码成Unicode的编码，但是，毕竟是程序，是有可能猜错的，所以如果猜错了，我们就需要手工来指定编码方式。官方文档的描述如下：

When you make a request, Requests makes educated guesses about the encoding of the response based on the HTTP headers. The text encoding guessed by Requests is used when you access r.text. You can find out what encoding Requests is using, and change it, using the r.encoding property.

所以我们需要查看requests返回的编码方式到底是什么？

# ecoding=utf-8
import re
import requests
from bs4 import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'

res = requests.get(url)
print res.encoding

打印的结果如下：

ISO-8859-1

也就是说，源文件使用的是ISO-8859-1来编码。百度一下ISO-8859-1，结果如下：

ISO8859-1，通常叫做Latin-1。Latin-1包括了书写所有西方欧洲语言不可缺少的附加字符。

问题解决

发现了这个东东，问题就很好解决了，只要指定一下编码，就能正确的打出中文了。代码如下：

# ecoding=utf-8
import requests
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'

res = requests.get(url)
res.encoding = ('utf8')

print res.text

打印的结果就很明显，中文都正确的显示出来了。

另一种方式是在源文件上做解码和编码，代码如下：

# ecoding=utf-8
import requests
import sys
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://jb51.net/ershoufang/rs%E6%8B%9B%E5%95%86%E6%9E%9C%E5%B2%AD/'

res = requests.get(url)
# res.encoding = ('utf8')

print res.text.encode('ISO-8859-1').decode('utf-8')

另：ISO-8859-1也叫做latin1，使用latin1做解码结果也是正常的。

关于字符的编码，很多东西可以说，想了解的朋友可以参考以下大神的资料。

•《The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)》

以上这篇浅谈Python爬取网页的编码处理就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • pytorch 利用lstm做mnist手写数字识别分类的实例

    pytorch 利用lstm做mnist手写数字识别分类的实例

    今天小编就为大家分享一篇pytorch 利用lstm做mnist手写数字识别分类的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-01-01
  • python 示例分享---逻辑推理编程解决八皇后

    python 示例分享---逻辑推理编程解决八皇后

    八皇后问题，是一个古老而著名的问题，是回溯算法的典型案例。该问题是国际西洋棋棋手马克斯·贝瑟尔于1848年提出：在8X8格的国际象棋上摆放八个皇后，使其不能互相攻击，即任意两个皇后都不能处于同一行、同一列或同一斜线上，问有多少种摆法。
    2014-07-07
  • pandas创建DataFrame的7种方法小结

    pandas创建DataFrame的7种方法小结

    这篇文章主要介绍了pandas创建DataFrame的7种方法小结，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-06-06
  • python通过pil将图片转换成黑白效果的方法

    python通过pil将图片转换成黑白效果的方法

    这篇文章主要介绍了python通过pil将图片转换成黑白效果的方法,实例分析了Python中pil库的使用技巧,需要的朋友可以参考下
    2015-03-03
  • 实例解析Python中的__new__特殊方法

    实例解析Python中的__new__特殊方法

    __new__方法在Python中用于被创建类实例,接下来我们以实例解析Python中的__new__特殊方法,注意一下__new__与__init__方法的区别
    2016-06-06
  • Django关于admin的使用技巧和知识点

    Django关于admin的使用技巧和知识点

    在本篇文章里小编给大家整理的是关于Django的admin简单使用的相关知识点内容，需要的朋友们可以跟着学习下。
    2020-02-02
  • python爬虫中采集中遇到的问题整理

    python爬虫中采集中遇到的问题整理

    在本篇文章里小编给大家整理了关于python爬虫中采集中遇到的问题整理内容，需要的朋友们可以学习参考下。
    2020-11-11
  • Python re.sub 反向引用的实现

    Python re.sub 反向引用的实现

    反向引用指的是在指定替换结果的过程中，可以引用原始字符串中的匹配到内容，本文主要介绍了反向引用的设置方法，感兴趣的可以了解一下
    2021-07-07
  • 基于pycharm 项目和项目文件命名规则的介绍

    基于pycharm 项目和项目文件命名规则的介绍

    这篇文章主要介绍了基于pycharm 项目和项目文件命名规则的介绍，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-01-01
  • python如何实现不用装饰器实现登陆器小程序

    python如何实现不用装饰器实现登陆器小程序

    这篇文章主要介绍了python如何实现不用装饰器实现登陆器小程序,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-12-12

最新评论