使用Python的Scrapy框架十分钟爬取美女图
更新时间：2016年12月26日 15:08:45 作者：strivescript
Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作，它为我们完成了大量的工作，而不需要自己费大力气去开发。本文介绍了使用Python的Scrapy框架十分钟爬取美女图,需要的朋友可以参考下
简介
scrapy 是一个 python 下面功能丰富、使用快捷方便的爬虫框架。用 scrapy 可以快速的开发一个简单的爬虫，官方给出的一个简单例子足以证明其强大：
快速开发
下面开始10分钟倒计时：
当然开始前，可以先看看之前我们写过的 scrapy 入门文章 《零基础写python爬虫之使用Scrapy框架编写爬虫
1. 初始化项目
scrapy startproject mzt cd mzt scrapy genspider meizitu meizitu.com
2. 添加 spider 代码：
定义 scrapy.Item ，添加 image_urls 和 images ，为下载图片做准备。
修改 start_urls 为初始页面, 添加 parse 用于处理列表页， 添加 parse_item 处理项目页面。
3. 修改配置文件：
DOWNLOAD_DELAY = 1 # 添加下载延迟配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline
IMAGES_STORE = '.' # 设置图片保存目录4. 运行项目：
scrapy crawl meizitu
看，项目运行效果图
等待一会儿，就是收获的时候了
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流。
相关文章
本篇文章主要介绍了Python图片裁剪实例代码(如: 头像裁剪)，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-06-06
这篇文章主要介绍了Django中间件基础用法详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-07-07
pydantic库是一种常用的用于数据接口schema定义与检查的库,通过pydantic库,我们可以更为规范地定义和使用数据接口,下面这篇文章主要给大家介绍了关于python库pydantic的简易入门教程,需要的朋友可以参考下2022-03-03
这篇文章主要介绍了pycharm配置pyqt5-tools开发环境的方法步骤，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-02-02
python导出requirements.txt的几种方法以及环境配置详细流程
这篇文章主要给大家介绍了关于python导出requirements.txt的几种方法以及环境配置详细流程,requirements.txt 文件是一个文本文件,用于列出你的Python项目所依赖的软件包及其版本,需要的朋友可以参考下2023-11-11
对于Python程序员来说,处理弹出窗口似乎并不是一个常见的任务,这篇文章主要给大家介绍了关于Python图形化界面基础篇之如何使用弹出窗口和对话框的相关资料,需要的朋友可以参考下2024-03-03
这篇文章主要介绍了自适应线性神经网络Adaline的python实现详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
python Django编写接口并用Jmeter测试的方法
这篇文章主要介绍了python Django编写接口并用Jmeter测试,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-07-07
本文主要介绍了python爬虫的工作原理，具有很好的参考价值。下面跟着小编一起来看下吧2017-03-03
这篇文章主要介绍了利用Python脚本批量生成SQL语句，具有很好对参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-03-03
最新评论