Pycharm安装scrapy及初始化爬虫项目的完整步骤
一）安装scrapy：
1、打开cmd命令窗口，输入：pip install Scrapy。
2、安装成功之后会显示下面字符，表示未将scrapy设置到环境变量。
3、配置环境变量：右键我的电脑-->属性-->高级设置--->环境变量---->系统变量中的Path--->编辑--->添加--->将上文中黄色的路径添加到环境变量即可。
4、scrapy安装完毕。
二）创建一个scrapy爬虫项目：
1、创建一个普通的Pycharm项目，然后找到下面的terminal
2、输入命令scrapy startproject 模块名称(可以自己随便起，我以名为mine为例)，成功之后你会发现自己的项目中多了一个mine的包文件。
3、上述操作成功后终端会显示下图文字：此时我们输入cd那条命令。进入目标文件。
4、这时就可以创建爬虫目标文件啦，
输入scrapy genspider 爬取名 网站域名
1、爬取名是自己随便起的，比如我要爬百度那么我就可以起名为baidu
2、网站域名就是去掉 https:www. 剩下的部分，以博客园的为例：
网址为：https://www.cnblogs.com/
域名为 cnblogs.com
2和3操作截图：
5、此时我们会在目录里看见一个新的py文件：里自动生成如下代码：
三）开启pycharm对scrapy框架的调试功能：
由于pycharm没有创建scrapy框架的模块，所以我们想调试scrapy程序时要自己写一个小脚本来开启pycharm对scrapy的调试功能。
1、在与mine包同级条件下创建一个main.py文件：
2、mine文件将一下代码赋值进去：
import os import sys from scrapy.cmdline import execute sys.path.append(os.path.dirname(os.path.abspath(__file__))) execute(["scrapy", "crawl", "cnblog"]) # 第三个参数为自己创建的那个爬取的名称
这样就大功告成啦！
总结
到此这篇关于Pycharm安装scrapy及初始化爬虫项目的文章就介绍到这了,更多相关Pycharm安装scrapy初始化爬虫项目内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
pycharm恢复默认设置或者是替换pycharm的解释器实例
今天小编就为大家分享一篇pycharm恢复默认设置或者是替换pycharm的解释器实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10
包装是指对一个已经存在的对象进行系定义加工,实现授权是包装的一个特性,下面这篇文章主要给大家介绍了关于python包装和授权的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2023-06-06
Python matplotlib图例放在外侧保存时显示不完整问题解决
这篇文章主要介绍了Python matplotlib图例放在外侧保存时显示不完整问题解决，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-07-07
这篇文章主要介绍了Python利用numpy实现三层神经网络的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-04-04
这篇文章主要介绍了python tkinter组件摆放方式详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
这篇文章主要为大家详细介绍了python实现学员管理系统，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-02-02
这篇文章主要介绍了python 插入日期数据到Oracle实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-03-03
python DES加密与解密及hex输出和bs64格式输出的实现代码
这篇文章主要介绍了python DES加密与解密及hex输出和bs64格式输出的实现代码，代码简单易懂，非常不错对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2020-04-04
本文主要介绍了python实现pdf转word和excel的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2025-01-01
python socket网络编程步骤详解(socket套接字使用)
这篇文章主要介绍了什么是套接字、PYTHON套接字模块，提供一个简单的python socket编程，大家参考使用2013-12-12
最新评论