python中Scrapy shell的使用
更新时间：2022年05月06日 17:25:29 作者：码农飞哥
这篇文章主要介绍了python入门之Scrapy shell的使用，scrapy提供了一个shell。用来方便的测试规则，下面我们一起进入文章学习该内容吧，需要的小伙伴可以参考一下，希望对你有所帮助
前言：
我们想要在爬虫中使用xpath、beautifulsoup、正则表达式，css选择器等来提取想要的数据，但是因为scrapy是一个比较重的框架，每次运行都要等到一段时间，因此要去验证我们提取规则是否正确，是一个比较麻烦的事情，因此，scrapy提供了一个shell。用来方便的测试规则，当然也不仅仅局限于这一个功能。
打开Scrapy shell：
进入命令行终端，进入到scrapy项目所在的目录，然后进入到scrapy框架所在的虚拟环境中，输入命令 scrapy shell [链接] ，就会进入到scrapy的shell环境中。在这个环境中，你可以跟在爬虫的parse方法中一样使用了。
进入到scrapy项目所在的目录：
cd /Volumes/development/Python_learn/PycharmProjects/scrapy_demo/bmw_img_demo/
进入到scrapy框架所在的虚拟环境中：
source /Volumes/development/Python_learn/PycharmProjects/venv/crawler_evn/bin/activate
输入命令 scrapy shell [链接] :
rapy shell https://car.autohome.com.cn/pic/series/66.html
输入我们需要测试的语句：
srcs = response.xpath('//div[contains(@class,"uibox-con")]/ul/li/a/img/@src').getall()
到此这篇关于python入门之Scrapy shell的使用的文章就介绍到这了,更多相关Scrapy shell的使用内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
完美解决pyinstaller打包报错找不到依赖pypiwin32或pywin32-ctypes的错误
这篇文章主要介绍了完美解决pyinstaller打包报错找不到依赖pypiwin32或pywin32-ctypes的错误,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
Python 使用PIL.Image制作运动小人的动态图思路详解
这篇文章主要介绍了Python 使用PIL.Image制作一个运动小人的动态图,制作过程也很简单，只需要把图片拆分成12等分，每帧大小：67x165；连续读取和播放就会形成动态图像，需要的朋友可以参考下2021-10-10
torchserve是基于netty网络框架实现的，底层使用EpollServerSocketChannel服务进行网络通信，通过epoll多路复用技术实现高并发网络连接处理，这篇文章主要介绍了Pytorch基础教程之torchserve模型部署和推理,需要的朋友可以参考下2023-07-07
在机器学习中，很多算法都需要我们对分类特征进行转换（编码），即根据某一列的值，新增（修改）一列。本文为大家总结了Pandas中十种数据编码的方式，需要的可以参考一下2022-04-04
这篇文章主要介绍了Scrapy实现模拟登录的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-02-02
这篇文章主要介绍了在Python的Django框架中创建和使用模版的方法,包括使用manage.py shell来帮助设置模版的方法,需要的朋友可以参考下2015-07-07
相信大家都遇到过这种情况，下载文件的时候遇到压缩包又没有密码，或者说自己设置的加密密码，但是忘记了，就很难受。下面就将为大家介绍如何解决这一问题2021-12-12
Python强化练习之Tensorflow2 opp算法实现月球登陆器
在面向对象出现之前，我们采用的开发方法都是面向过程的编程(OPP)。面向过程的编程中最常用的一个分析方法是“功能分解”。我们会把用户需求先分解成模块，然后把模块分解成大的功能，再把大的功能分解成小的功能，整个需求就是按照这样的方式，最终分解成一个一个的函数2021-10-10
这篇文章主要介绍了python如何获取列表中每个元素的下标位置,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-07-07
Pandas是一个在数据科学中常用的功能强大的Python库。在某些情况下，我们可能希望更改所显示内容的格式，这就需要使用Pandas的一些定制功能来帮助我们自定义内容的显示方式。本文为大家总结了7个有用的Pandas显示选项，希望对大家有所帮助2022-12-12
最新评论