安装scrapy框架并测试全过程
更新时间：2025年11月21日 16:22:20 作者：Memory`星
本文介绍了如何安装和测试Scrapy框架,并分享了创建爬虫项目的过程,包括在PyCharm中创建工程、编写爬虫主文件以及在settings.py中进行配置,通过运行爬虫文件,验证了安装和配置的正确性
安装scrapy框架并测试
这是个系列文章，主要是能让大家快速的的做出一个小项目，主要是我现在在做计算机设计大赛，想把做过的东西记录下来，后续我会将整个计设的项目的制作过程写出来分享给大家。其中包括Django、mysql数据库、前端等。
这些文章主要是记录具体操作过程，具体的知识内容还请去刷视频，这里不做过多解释。
安装scrapy框架
在终端里先后运行这个语句即可安装
pip install wheel pip install scrapy
在终端里输入scrapy即可验证是否安装成功，以下是没有安装前的情况。
以下是安装过后验证的情况
这样就说明安装成功了。
我们需要在pycharm终端里创建一个工程
代码如下：
scrapy startproject comment（comment为你的工程名称）
创建成功如下
（这里注意，有些同学创建不成功报错的，需要在pycharm终端里再次执行pip install scrapy）
紧接着执行下面提示的两段代码来创建我们的爬虫主文件
cd comment
注意这里的example.com我们需要换成自己的起始url （这里随便设一个就好，这个不影响我们的任务）
scrapy genspider news（这里的news为爬虫文件名称）www.xxx.com
然后配置成如下的形式
注意这里的allowed_domains可以注释掉，对我们的任务没有太大的影响。start_urls里的url换成我们需要请求的网址。（这里我就用腾讯新闻的主页来测试了）
在此之前我们需要在settings.py文件里完成如下配置：
然后在终端输入以下代码来运行爬虫文件：
scrapy crawl news
运行成功！
这样测试就完成了，可以进行后续的任务了。
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了python中如何实现径向基核函数问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-02-02
这篇文章主要介绍了Pandas直接读取sql脚本的方法,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-01-01
这篇文章主要介绍了Python 爬虫之超链接 url中含有中文出错及解决办法的相关资料,出现UnicodeEncodeError: 'ascii' codec can't encode characters，的错误解决办法，需要的朋友可以参考下2017-08-08
无论你是在开发网站、分析数据还是编写自动化脚本,字符串 (String) 都是你几乎每天都会打交道的基础数据类型,本文将从字符串的基础概念讲起,逐步深入到各种常用操作和高级技巧,助你轻松驾驭Python字符串2025-12-12
这篇文章主要为大家详细介绍了python字符串判断密码强弱，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2020-03-03
这篇文章主要介绍了Python 支付整合开发包的实现，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-01-01
这篇文章主要介绍了Python list append方法如何给列表追加元素，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-11-11
python的uuid都是32位的，比较长，处理起来效率比较低。这篇文章主要介绍了Python生成短uuid的方法,需要的朋友可以参考下2018-05-05
今天小编就为大家分享一篇python 求定积分和不定积分示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-11-11
Django3基于WebSocket实现WebShell的详细过程
最近工作中需要开发前端操作远程虚拟机的功能,简称WebShell，普通应用大部分用的都是wsgi.py配合nginx部署线上服务. 这次主要使用asgi.py，具体实现过程跟随小编一起看看吧2021-08-08
最新评论