脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python爬虫之scrapy框架

python爬虫之scrapy框架详解

 更新时间：2021年11月24日 08:39:47   作者：可小v.  
这篇文章主要为大家介绍了python爬虫之scrapy框架，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助
1.在pycharm下安装scrapy函数库
2.将安装好scrapy函数库下的路径配置到系统path的环境变量中
3.打开cmd终端输入：scrapy.exe检查是否安装成功
4.创建一个项目：scrapy startproject 项目名字
5.cd进入该目录下，创建一个spider：scrapy genspider 项目名字 网址
6.编辑settings.py文件中的USER_AGENT选项为正常的浏览器头部
7.执行这个spider：scrapy crawl 项目名字
8.如果遇到因pip版本太低导致安装不了scarpy函数库，可以先在cmd窗口输入py -m pip install --upgrade pip升级命令（前提是你的python环境下得有pip，可通过输入pip命令查看是否已安装，如未安装得去官网下载并解压至相应路径）

代码示例命令截图:

在这里插入图片描述

项目文件截图：

在这里插入图片描述

settings.py文件截图：（需要修改爬取网站的USER_AGENT）

在这里插入图片描述

scrapy运行工作流程图:

Spiders(爬虫):它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)

Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

Downloader(下载器)：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理

ItemPipeline(管道):它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.

Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。

Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间

通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）
在这里插入图片描述

总结

本篇文章就到这里了，希望能够给你带来帮助，也希望您能够多多关注脚本之家的更多内容!

您可能感兴趣的文章:

相关文章

  • Python实现Event回调机制的方法

    Python实现Event回调机制的方法

    今天小编就为大家分享一篇Python实现Event回调机制的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-02-02
  • python之验证码生成(gvcode与captcha)

    python之验证码生成(gvcode与captcha)

    这篇文章主要介绍了python之验证码生成(gvcode与captcha),小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2019-01-01
  • pytest接口测试之fixture传参数request的使用

    pytest接口测试之fixture传参数request的使用

    本文主要介绍了pytest接口测试之fixture传参数request的使用，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2021-08-08
  • python基础之单分派泛函数singledispatch

    python基础之单分派泛函数singledispatch

    这篇文章主要介绍了python基础之单分派泛函数singledispatch问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • django 邮件发送模块smtp使用详解

    django 邮件发送模块smtp使用详解

    这篇文章主要介绍了django 邮件发送模块smtp使用详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-07-07
  • 浅谈Pytorch中的torch.gather函数的含义

    浅谈Pytorch中的torch.gather函数的含义

    今天小编就为大家分享一篇浅谈Pytorch中的torch.gather函数的含义，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08
  • python调用摄像头拍摄数据集

    python调用摄像头拍摄数据集

    这篇文章主要为大家详细介绍了Python调用摄像头拍摄数据集，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2019-06-06
  • python中的__init__ 、__new__、__call__小结

    python中的__init__ 、__new__、__call__小结

    这篇文章主要介绍了python中的__init__ 、__new__、__call__小结,需要的朋友可以参考下
    2014-04-04
  • 使用Python实现NBA球员数据查询小程序功能

    使用Python实现NBA球员数据查询小程序功能

    这篇文章主要介绍了使用Python实现NBA球员数据查询小程序功能,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2020-11-11
  • python中字符串数组逆序排列方法总结

    python中字符串数组逆序排列方法总结

    在本篇文章里小编给大家整理了关于python中字符串数组如何逆序排列的相关知识点，需要的朋友们学习下。
    2019-06-06

最新评论