python网络爬虫学习笔记（1）
更新时间：2018年04月09日 10:26:23 作者：赖权华
这篇文章主要为大家详细介绍了python网络爬虫学习笔记的第一篇，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
本文实例为大家分享了python网络爬虫的笔记，供大家参考，具体内容如下
（一） 三种网页抓取方法
1、 正则表达式：
模块使用C语言编写，速度快，但是很脆弱，可能网页更新后就不能用了。
2、Beautiful Soup
模块使用Python编写，速度慢。
安装：
pip install beautifulsoup4
3、 Lxml
模块使用C语言编写，即快速又健壮，通常应该是最好的选择。
（二） Lxml安装
pip install lxml
如果使用lxml的css选择器，还要安装下面的模块
pip install cssselect
（三） 使用lxml示例
import urllib.request as re
import lxml.html
#下载网页并返回HTML
def download(url,user_agent='Socrates',num=2):
print('下载:'+url)
#设置用户代理
headers = {'user_agent':user_agent}
request = re.Request(url,headers=headers)
try:
#下载网页
html = re.urlopen(request).read()
except re.URLError as e:
print('下载失败'+e.reason)
html=None
if num>0:
#遇到5XX错误时，递归调用自身重试下载，最多重复2次
if hasattr(e,'code') and 500<=e.code<600:
return download(url,num-1)
return html
html = download('https://tieba.baidu.com/p/5475267611')
#将HTML解析为统一的格式
tree = lxml.html.fromstring(html)
# img = tree.cssselect('img.BDE_Image')
#通过lxml的xpath获取src属性的值，返回一个列表
img = tree.xpath('//img[@class="BDE_Image"]/@src')
x= 0
#迭代列表img,将图片保存在当前目录下
for i in img:
re.urlretrieve(i,'%s.jpg'%x)
x += 1
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了OpenCV图片漫画效果的实现示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-08-08
这篇文章主要为大家详细介绍了python绘制箱型图，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-04-04
这篇文章主要介绍了基于Python爬取双十一商品价格曲线,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-10-10
今天小编就为大家分享一篇python 字符串只保留汉字的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-11-11
python Seaborn绘制统计图全面指南(直方图散点图小提琴图热力图相关系数图多张合并)
这篇文章主要介绍了python Seaborn绘制统计图全面指南,包括直方图,散点图,小提琴图,热力图,相关系数图及多张图合并的实现示例,有需要的朋友可以借鉴参考下,希望能够有所帮助2024-01-01
这篇文章主要介绍了Python自动扫雷实现方法,提供了Python实现自动扫雷的代码思路并备有注释说明,具有一定参考借鉴价值,需要的朋友可以参考下2015-07-07
短期目前旨在爬取所有新闻门户网站的新闻，每个门户网站爬虫开箱即用，并自动保存到同目录下的 csv/excel 文件中，禁止将所得数据商用。2021-04-04
大家好，最近抖音张同学突然火了，两个月涨粉一千多万。今天这篇文章，我抓取了张同学的视频的评论数据，想从文本分析的角度，挖掘一下大家对张同学感兴趣的点2022-01-01
这篇文章主要介绍了pygame实现井字棋之第二步逻辑实现,文中有非常详细的代码示例,对正在学习python的小伙伴们有非常好的帮助,需要的朋友可以参考下2021-05-05
这篇文章主要介绍了Python处理JSON时的值报错及编码报错的两则解决实录,在这里还是想建议一下使用Python 3.x版本,Python 3默认的Unicode编码能在实际使用中为我们省去不少问题,需要的朋友可以参考下2016-06-06
最新评论