Python使用lxml模块和Requests模块抓取HTML页面的教程

 更新时间:2016年05月16日 18:53:56   作者:Kenneth Reitz   我要评论
用Pyhton自带的urllib或urllib2模块抓取网页或许有些陈词滥调了,今天我们就来玩儿些新鲜的,来看Python使用lxml模块和Requests模块抓取HTML页面的教程:

Web抓取
Web站点使用HTML描述,这意味着每个web页面是一个结构化的文档。有时从中 获取数据同时保持它的结构是有用的。web站点不总是以容易处理的格式, 如 csv 或者 json 提供它们的数据。

这正是web抓取出场的时机。Web抓取是使用计算机程序将web页面数据进行收集 并整理成所需格式,同时保存其结构的实践。

lxml和Requests
lxml(http://lxml.de/)是一个优美的扩展库,用来快速解析XML以及HTML文档 即使所处理的标签非常混乱。我们也将使用 Requests (http://docs.python-requests.org/en/latest/#)模块取代内建的urllib2模块,因为其速度更快而且可读性更好。你可以通过使用 pip install lxml 与 pip install requests 命令来安装这两个模块。

让我们以下面的导入开始:

from lxml import html
import requests

下一步我们将使用 requests.get 来从web页面中取得我们的数据, 通过使用 html 模块解析它,并将结果保存到 tree 中。

page = requests.get('http://econpy.pythonanywhere.com/ex/001.html')
tree = html.fromstring(page.text)

tree 现在包含了整个HTML文件到一个优雅的树结构中,我们可以使用两种 方法访问:XPath以及CSS选择器。在这个例子中,我们将选择前者。

XPath是一种在结构化文档(如HTML或XML)中定位信息的方式。一个关于XPath的 不错的介绍参见 W3Schools 。

有很多工具可以获取元素的XPath,如Firefox的FireBug或者Chrome的Inspector。 如果你使用Chrome,你可以右键元素,选择 ‘Inspect element',高亮这段代码, 再次右击,并选择 ‘Copy XPath'。

在进行一次快速分析后,我们看到在页面中的数据保存在两个元素中,一个是title是 ‘buyer-name' 的div,另一个class是 ‘item-price' 的span:

<div title="buyer-name">Carson Busses</div>
<span class="item-price">$29.95</span>

知道这个后,我们可以创建正确的XPath查询并且使用lxml的 xpath 函数, 像下面这样:

#这将创建buyers的列表:
buyers = tree.xpath('//div[@title="buyer-name"]/text()')
#这将创建prices的列表:
prices = tree.xpath('//span[@class="item-price"]/text()')

让我们看看我们得到了什么:

print 'Buyers: ', buyers
print 'Prices: ', prices
Buyers: ['Carson Busses', 'Earl E. Byrd', 'Patty Cakes',
'Derri Anne Connecticut', 'Moe Dess', 'Leda Doggslife', 'Dan Druff',
'Al Fresco', 'Ido Hoe', 'Howie Kisses', 'Len Lease', 'Phil Meup',
'Ira Pent', 'Ben D. Rules', 'Ave Sectomy', 'Gary Shattire',
'Bobbi Soks', 'Sheila Takya', 'Rose Tattoo', 'Moe Tell']

Prices: ['$29.95', '$8.37', '$15.26', '$19.25', '$19.25',
'$13.99', '$31.57', '$8.49', '$14.47', '$15.86', '$11.11',
'$15.98', '$16.27', '$7.50', '$50.85', '$14.26', '$5.68',
'$15.00', '$114.07', '$10.09']

恭喜!我们已经成功地通过lxml与Request,从一个web页面中抓取了所有我们想要的 数据。我们将它们以列表的形式存在内存中。现在我们可以对它做各种很酷的事情了: 我们可以使用Python分析它,或者我们可以将之保存为一个文件并向世界分享。

我们可以考虑一些更酷的想法:修改这个脚本来遍历该例数据集中剩余的页面,或者 使用多线程重写这个应用从而提升它的速度。

相关文章

  • Python聚类算法之凝聚层次聚类实例分析

    Python聚类算法之凝聚层次聚类实例分析

    这篇文章主要介绍了Python聚类算法之凝聚层次聚类的原理与具体使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-11-11
  • 总结python中pass的作用

    总结python中pass的作用

    在本篇内容里我们给读者们分享了关于python中pass的作用以及相关实例代码,有需要的朋友们学习下。
    2019-02-02
  • Python面向对象特殊成员

    Python面向对象特殊成员

    这篇文章主要介绍了Python面向对象特殊成员的相关资料,需要的朋友可以参考下
    2017-04-04
  • python生成特定分布数的实例

    python生成特定分布数的实例

    今天小编就为大家分享一篇python生成特定分布数的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12
  • Python实现对PPT文件进行截图操作的方法

    Python实现对PPT文件进行截图操作的方法

    这篇文章主要介绍了Python实现对PPT文件进行截图操作的方法,涉及Python操作幻灯片的相关技巧,非常具有实用价值,需要的朋友可以参考下
    2015-04-04
  • 浅谈python类属性的访问、设置和删除方法

    浅谈python类属性的访问、设置和删除方法

    下面小编就为大家带来一篇浅谈python类属性的访问、设置和删除方法。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-07-07
  • python读取Excel实例详解

    python读取Excel实例详解

    这篇文章主要为大家详细介绍了python读取Excel的实例,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-08-08
  • Python 获取numpy.array索引值的实例

    Python 获取numpy.array索引值的实例

    今天小编就为大家分享一篇Python 获取numpy.array索引值的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12
  • 给 TensorFlow 变量进行赋值的方式

    给 TensorFlow 变量进行赋值的方式

    今天小编就为大家分享一篇给 TensorFlow 变量进行赋值的方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-02-02
  • 进一步了解Python中的XML 工具

    进一步了解Python中的XML 工具

    这篇文章主要介绍了更为深入的的Python中的XML工具,本文来自于IBM官方开发者技术文档,需要的朋友可以参考下
    2015-04-04

最新评论