Python的Scrapy框架解析
一.为什么使用Scrapy框架?
Scrapy是一个快速、高层次的屏幕抓取和web抓取的框架,可用于数据挖掘、监测和自动化检测，任何人都可以根据需要去进行修改。
二.Scrapy框架每个组件介绍
1.Scrapy引擎（Scrapy Engine）：负责控制数据流在系统的所以组件中的流动，并在相应动作发生时触发事件。
2.调度器（Scheduler）:从引擎接受reques并将其入队，便于以后请求它们提供给引擎。
3.下载器（Downloader）：负责获取网页数据并且提供给引擎，然后提供给Spider。
4.Spiders： 指Scrapy用户编写用于分析response并且提取item或额外跟进的URL类人。每个Spider负责处理一些特定网站。
5.Item Pipeline：负责处理被Spider提取出来的item。典型的处理有清洁、验证及持久化
6.下载器中间件（Downloader Middlewares）：指在引擎及下载器之间的特定钩子（specific hook），处理Downloader 传递给引擎的response。它提供一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
7.Spiders中间件（Spider Middlewares）:指在引擎及Spider之间的特定钩子（specific hook），处理Spider 的输入（response）和输出（items及requests）。它提供一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
三.Scrapy框架工作原理
1.引擎向spider要URL
2.引擎将要爬取的URL给调度器
3.调度器会将URL生成请求对象放入指定的队列中
4.从队列中出队一个请求
5.引擎将请求交给下载器进行处理
6.下载器发送请求获取互联网数据
7.下载器将数据返回给引擎
8.引擎将数据再次给到spiders
9.spiders通过xpath解析该数据，得到数据或URL
10.spiders将数据或URL给到引擎
11.引擎判断该数据是URL还是数据，交给管道处理，URL交给调度器处理
12.当调度器里没有任何数据之后，整个程序停止
下面是我根据工作原理画的可以结合去看：
总结
本篇文章就到这里了，希望能够给你带来帮助，也希望您能够多多关注脚本之家的更多内容!
相关文章
本文通过具体的代码示例为大家解释了如何高效地使用logging模块进行日志记录，以及如何避免常见的陷阱，希望可以帮助大家更好地掌握这个强大的工具2023-07-07
这篇文章主要介绍了如何向scrapy中的spider传递参数的几种方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-11-11
今天小编就为大家分享一篇对Python获取屏幕截图的4种方法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
这篇文章主要介绍了Python 运行.py文件和交互式运行代码的区别详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-07-07
这篇文章主要给大家介绍了关于Python第三方库安装缓慢的解决方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-02-02
在Python里,常用的模块之一就是Pickle,它可以帮我们很方便地进行序列化和反序列化操作,,今天我们来聊聊Python里的反序列化攻击,文中通过代码示例讲解的非常详细,需要的朋友可以参考下2024-06-06
这篇文章主要介绍了python对常见数据类型的遍历解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-08-08
下面小编就为大家分享一篇python读文件保存到字典,修改字典并写入新文件的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
error conda:ProxyError:Conda cannot proceed due to an
这篇文章主要为大家介绍了error conda:ProxyError:Conda cannot proceed due to an error in your proxy configuration解决方法，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-07-07
今天小编就为大家分享一篇python实现logistic分类算法代码，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
最新评论