python爬虫常用的模块分析

 更新时间:2014年08月29日 10:12:27   投稿:shichen2014   我要评论
这篇文章主要介绍了python爬虫常用的模块的creepy模块,功能非常强大,文中较为详细的讲述了模块接口的功能及用法,需要的朋友可以参考下

本文对Python爬虫常用的模块做了较为深入的分析,并以实例加以深入说明。分享给大家供大家参考之用。具体分析如下:

creepy模块

某台湾大神开发的,功能简单,能够自动抓取某个网站的所有内容,当然你也可以设定哪些url需要抓。

地址:https://pypi.python.org/pypi/creepy

功能接口:

set_content_type_filter:
设定抓取的content-type(header中的contenttype)。包括text/html

add_url_filter:
过滤url,传入的可以是正则表达式

set_follow_mode:
设定递归模式,F_ANY:该页面上所有链接都会抓取。 F_SAME_DOMAIN和F_SAME_HOST类似。即同一个域名的都会抓取。F_SAME_PATH:同一路径的抓取。例如bag.vancl.com/l1/d3/1.jpg path为l1/d3/1.jpg,则path为l1/d3/*的都会抓取。这里可以根据需要增加自己的递归模式

set_concurrency_level:
设定线程最大数

process_document:
一般需要重写,处理网页内容,提取自己需要的内容。

selenium
可视化界面,抓取自动化,api使用超简单,完全像是自己在操作浏览器。

官方网站:http://www.seleniumhq.org/
python官方网站
http://pypi.python.org/pypi/selenium
webdriver api(很好用,建议多了解一下)
http://www.seleniumhq.org/docs/03_webdriver.jsp

以下是一个抓取凡客网站的例子:

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time

browser = webdriver.Firefox()
browser.get('http://bag.vancl.com/28145-28167-a18568_18571-b1-n3-s1.html#ref=hp-hp-hot-8_1_1-v:n')
elem = browser.find_element_by_name('ch_bag-3-page-next') # Find the search box
time.sleep(1)
print elem.get_attribute("href")
elem.click()

time.sleep(1)
elem = browser.find_element_by_name('ch_bag-3-page-next') # Find the search box
print elem.get_attribute("href")
elem.click()

希望本文所述对大家的Python程序设计有所帮助。

相关文章

  • 利用pandas进行大文件计数处理的方法

    利用pandas进行大文件计数处理的方法

    今天小编就为大家分享一篇利用pandas进行大文件计数处理的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-07-07
  • python冒泡排序算法的实现代码

    python冒泡排序算法的实现代码

    这篇文章主要介绍了python冒泡排序算法的实现代码,大家参考使用
    2013-11-11
  • 从零学Python之入门(三)序列

    从零学Python之入门(三)序列

    今天比较清闲,多写几篇入门篇,本文是入门系列的第三篇,我们来学习下Python中的序列。
    2014-05-05
  • 用python实现刷点击率的示例代码

    用python实现刷点击率的示例代码

    今天小编就为大家分享一篇用python实现刷点击率的示例代码,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-02-02
  • Python中的装饰器用法详解

    Python中的装饰器用法详解

    这篇文章主要介绍了Python中的装饰器用法,以实例形式详细的分析了Python中的装饰器的使用技巧及相关注意事项,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-01-01
  • Python装饰器用法实例分析

    Python装饰器用法实例分析

    这篇文章主要介绍了Python装饰器用法,结合实例形式分析了带参数装饰器、无参数装饰器等相关实现与使用技巧,需要的朋友可以参考下
    2019-01-01
  • PyQt5每天必学之像素图控件QPixmap

    PyQt5每天必学之像素图控件QPixmap

    这篇文章主要为大家详细介绍了PyQt5每天必学之像素图控件QPixmap,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-04-04
  • python如何将图片转换为字符图片

    python如何将图片转换为字符图片

    这篇文章主要为大家详细介绍了python将图片转换为字符图片的方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-03-03
  • 基于Python函数和变量名解析

    基于Python函数和变量名解析

    今天小编就为大家分享一篇基于Python函数和变量名解析,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • Pandas_cum累积计算和rolling滚动计算的用法详解

    Pandas_cum累积计算和rolling滚动计算的用法详解

    今天小编就为大家分享一篇Pandas_cum累积计算和rolling滚动计算的用法详解,具有好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07

最新评论