使用Python的Scrapy框架十分钟爬取美女图
更新时间：2016年12月26日 15:08:45 作者：strivescript
Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作，它为我们完成了大量的工作，而不需要自己费大力气去开发。本文介绍了使用Python的Scrapy框架十分钟爬取美女图,需要的朋友可以参考下
简介
scrapy 是一个 python 下面功能丰富、使用快捷方便的爬虫框架。用 scrapy 可以快速的开发一个简单的爬虫，官方给出的一个简单例子足以证明其强大：
快速开发
下面开始10分钟倒计时：
当然开始前，可以先看看之前我们写过的 scrapy 入门文章 《零基础写python爬虫之使用Scrapy框架编写爬虫
1. 初始化项目
scrapy startproject mzt cd mzt scrapy genspider meizitu meizitu.com
2. 添加 spider 代码：
定义 scrapy.Item ，添加 image_urls 和 images ，为下载图片做准备。
修改 start_urls 为初始页面, 添加 parse 用于处理列表页， 添加 parse_item 处理项目页面。
3. 修改配置文件：
DOWNLOAD_DELAY = 1 # 添加下载延迟配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline
IMAGES_STORE = '.' # 设置图片保存目录4. 运行项目：
scrapy crawl meizitu
看，项目运行效果图
等待一会儿，就是收获的时候了
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流。
相关文章
这篇文章主要给大家介绍了关于Python如何获得百度统计API的数据并发送邮件的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-01-01
这篇文章主要给大家介绍了关于python爬虫实例之获取动漫截图的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用python具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2020-05-05
这篇文章主要为大家详细介绍了python最长回文串算法的实践，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-06-06
MySQL是一款广泛使用的关系型数据库，而Python是一门流行的编程语言，在进行数据库操作时，二者的结合可以帮助我们更加高效地进行操作和管理，这篇文章主要介绍了Python MySQL查询限制,需要的朋友可以参考下2023-11-11
在本文我们介绍了如何使用Python的Flask框架开发一个简单的验证码登录功能,将涵盖生成验证码、处理用户输入、验证验证码以及实现安全的用户认证等方面,感兴趣的可以了解一下2023-11-11
Python datetime和unix时间戳之间相互转换的讲解
今天小编就为大家分享一篇关于Python datetime和unix时间戳之间相互转换的讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-04-04
这篇文章主要介绍了pycharm中多进程踩坑记录,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-03-03
hashlib 是一个提供了一些流行的hash算法的 Python 标准库．其中所包括的算法有 md5, sha1, sha224, sha256, sha384, sha512. 另外，模块中所定义的 new(name, string=”) 方法可通过指定系统所支持的hash算法来构造相应的hash对象2022-11-11
今天小编就为大家分享一篇python实现列表中最大最小值输出的示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-07-07
这篇文章主要介绍了Python之串口收发的异步程序,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-09-09
最新评论