安装scrapy框架并测试全过程
更新时间：2025年11月21日 16:22:20 作者：Memory`星
本文介绍了如何安装和测试Scrapy框架,并分享了创建爬虫项目的过程,包括在PyCharm中创建工程、编写爬虫主文件以及在settings.py中进行配置,通过运行爬虫文件,验证了安装和配置的正确性
安装scrapy框架并测试
这是个系列文章，主要是能让大家快速的的做出一个小项目，主要是我现在在做计算机设计大赛，想把做过的东西记录下来，后续我会将整个计设的项目的制作过程写出来分享给大家。其中包括Django、mysql数据库、前端等。
这些文章主要是记录具体操作过程，具体的知识内容还请去刷视频，这里不做过多解释。
安装scrapy框架
在终端里先后运行这个语句即可安装
pip install wheel pip install scrapy
在终端里输入scrapy即可验证是否安装成功，以下是没有安装前的情况。
以下是安装过后验证的情况
这样就说明安装成功了。
我们需要在pycharm终端里创建一个工程
代码如下：
scrapy startproject comment（comment为你的工程名称）
创建成功如下
（这里注意，有些同学创建不成功报错的，需要在pycharm终端里再次执行pip install scrapy）
紧接着执行下面提示的两段代码来创建我们的爬虫主文件
cd comment
注意这里的example.com我们需要换成自己的起始url （这里随便设一个就好，这个不影响我们的任务）
scrapy genspider news（这里的news为爬虫文件名称）www.xxx.com
然后配置成如下的形式
注意这里的allowed_domains可以注释掉，对我们的任务没有太大的影响。start_urls里的url换成我们需要请求的网址。（这里我就用腾讯新闻的主页来测试了）
在此之前我们需要在settings.py文件里完成如下配置：
然后在终端输入以下代码来运行爬虫文件：
scrapy crawl news
运行成功！
这样测试就完成了，可以进行后续的任务了。
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
filter()函数是Python内置的另一个有用的高阶函数,filter()函数接收一个函数f和一个序列,函数f的作用是对每个元素进行判断,返回True或False,下面这篇文章主要给大家介绍了关于Python中内置函数filter函数用法的相关资料,需要的朋友可以参考下2024-05-05
这篇文章主要介绍了Django使用unittest模块进行单元测试过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-08-08
远程连接方案通过SSH配置PyCharm连接CentOS服务器,统一环境避免差异,自动同步代码至远程工作目录,并映射pyspark等工具包,提升开发效率与一致性2025-07-07
这篇文章主要介绍了python安装cx_Oracle模块常见问题与解决方法,举例分析了Python在Windows平台与Linux平台安装cx_Oracle模块常见问题、解决方法及相关注意事项,需要的朋友可以参考下2017-02-02
这篇文章主要介绍了基于Python 的语音重采样函数解析，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-07-07
windows10下python3.5 pip3安装图文教程
这篇文章主要为大家详细介绍了windows10下python3.5 pip3安装图文教程，注意区分python 2.x和python 3.x的相关命令，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-04-04
Python自带了tkinter模块,实质上是一种流行的面向对象的GUI工具包 TK 的Python编程接口,提供了快速便利地创建GUI应用程序的方法,下面这篇文章主要给大家介绍了关于python图形界面教程Tkinter的相关资料,需要的朋友可以参考下2022-12-12
这篇文章主要介绍了Python数据分析与处理-处理中国地区信息，上文介绍了北京高考分数线统计分析，这篇文章依然围绕Python数据分析与处理的相关资料来介绍处理中国地区信息,需要的朋友可以参考一下2021-12-12
看了许多关于PyTorch的入门文章,大抵是从torchvision.datasets中自带的数据集进行训练,导致很难把PyTorch运用于自己的数据集上,真正地灵活运用PyTorch,本文详细介绍了怎么利用Pytorch实现猫狗分类,需要的朋友可以参考下2021-06-06
这篇文章主要介绍了Python学习笔记之变量与转义符，本文从零开始学习Python,知识点很细,有共同目标的小伙伴可以一起来学习2023-03-03
最新评论