python爬虫常用的模块分析
本文对Python爬虫常用的模块做了较为深入的分析，并以实例加以深入说明。分享给大家供大家参考之用。具体分析如下：
creepy模块
某台湾大神开发的，功能简单，能够自动抓取某个网站的所有内容，当然你也可以设定哪些url需要抓。
地址：https://pypi.python.org/pypi/creepy
功能接口：
set_content_type_filter:
设定抓取的content-type（header中的contenttype）。包括text/html
add_url_filter：
过滤url，传入的可以是正则表达式
set_follow_mode：
设定递归模式，F_ANY：该页面上所有链接都会抓取。 F_SAME_DOMAIN和F_SAME_HOST类似。即同一个域名的都会抓取。F_SAME_PATH：同一路径的抓取。例如bag.vancl.com/l1/d3/1.jpg path为l1/d3/1.jpg，则path为l1/d3/*的都会抓取。这里可以根据需要增加自己的递归模式
set_concurrency_level：
设定线程最大数
process_document：
一般需要重写，处理网页内容，提取自己需要的内容。
selenium
可视化界面，抓取自动化，api使用超简单，完全像是自己在操作浏览器。
官方网站：http://www.seleniumhq.org/
python官方网站
http://pypi.python.org/pypi/selenium
webdriver api（很好用，建议多了解一下）
http://www.seleniumhq.org/docs/03_webdriver.jsp
以下是一个抓取凡客网站的例子：
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
browser = webdriver.Firefox()
browser.get('http://bag.vancl.com/28145-28167-a18568_18571-b1-n3-s1.html#ref=hp-hp-hot-8_1_1-v:n')
elem = browser.find_element_by_name('ch_bag-3-page-next') # Find the search box
time.sleep(1)
print elem.get_attribute("href")
elem.click()
time.sleep(1)
elem = browser.find_element_by_name('ch_bag-3-page-next') # Find the search box
print elem.get_attribute("href")
elem.click()
希望本文所述对大家的Python程序设计有所帮助。
相关文章
在本篇文章里小编给大家整理了关于python字典key不能是可以是啥类型的相关知识点，需要的朋友们可以参考下。2020-08-08
vlog，全称为Video blog，意为影音博客，也有翻译为微录。本文将尝试用Python基于Moviepy从一个文本文件中自动生成一个视频格式的vlog，感兴趣的可以了解一下2023-01-01
pygame多种方式实现屏保操作(自动切换、鼠标切换、键盘切换)
这篇文章主要介绍了pygame多种方式实现屏保操作(自动切换、鼠标切换、键盘切换),文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-04-04
这篇文章主要为大家详细介绍了Python机器学习中实现距离和相似性计算的方法，文中的示例代码讲解详细，感兴趣的小伙伴可以跟随小编一起学习一下2023-03-03
VLC是一款开源的多媒体播放器,它支持大量的视频和音频格式,并且具有强大的脚本和编程接口,这篇文章主要介绍了使用VLC实现自动播放视频,需要的朋友可以参考下2024-03-03
这篇文章主要为大家详细介绍了如何利用Python实现对手机号码进行地域分析并查询归属地的功能，感兴趣的小伙伴可以跟随小编一起学习一下2022-12-12
这篇文章主要为大家详细介绍了Python函数作用域的LEGB顺序的相关资料，感兴趣的朋友可以参考一下2016-05-05
这篇文章主要介绍了python解决12306登录验证码的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-04-04
这篇文章主要介绍了Python序列化与反序列化pickle用法实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-11-11
python requests 库请求带有文件参数的接口实例
今天小编就为大家分享一篇python requests 库请求带有文件参数的接口实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
最新评论