详解python3 + Scrapy爬虫学习之创建项目
更新时间：2019年04月12日 11:30:09 作者：s_kangkang_A
这篇文章主要介绍了python3 Scrapy爬虫创建项目，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
最近准备做一个关于scrapy框架的实战，爬取腾讯社招信息并存储，这篇博客记录一下创建项目的步骤
pycharm是无法创建一个scrapy项目的
因此，我们需要用命令行的方法新建一个scrapy项目
请确保已经安装了scrapy，twisted，pypiwin32
一：进入你所需要的路径，这个路径存储你创建的项目
我的将放在E盘的Scrapy目录下
二：创建项目：scrapy startproject ***(这个是项目名)
这样就创建好了一个名为tencent的项目
三：进入项目新建一个爬虫：scrapy genspider tencent_spider hr.tencent.com
这里我们要注意，上面的命令，加黑的是爬虫名称，斜体是域名
这样，我们就新建了一个爬虫项目，打开文件夹查看
打开spiders
然后我们用pycharm打开
点击File —>open，找到项目所在文件夹，打开即可
这样，我们就新建了一个scrapy项目，如果安装了所需要的库，scrapy飘红，记得去切换解释器
在File—>settings的标红的地方
另外推荐大家，在根目录下新建一个start.py的文件并写入
from scrapy import cmdline
cmdline.execute("scrapy crawl tencent_spider".split())
这样，我们每次运行，运行start.py，即可，不用到命令行执行运行命令
鼠标右键tencent，新建python文件，即可创建。
以上所述是小编给大家介绍的python3 Scrapy爬虫创建项目详解整合，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！
相关文章
这篇文章主要为大家详细介绍了python程序封装为win32服务的方法，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-11-11
这篇文章主要为大家详细介绍了python3实现点餐系统，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-01-01
这篇文章主要介绍了如何向scrapy中的spider传递参数的几种方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-11-11
解决pip install报错:Cannot connect to proxy问题
这篇文章主要介绍了解决pip install报错:Cannot connect to proxy问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-05-05
Pycharm运行程序时,控制台输出PyDev console:starting问题
Pycharm运行程序时,控制台输出PyDev console:starting问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-05-05
这篇文章主要为大家详细介绍了python中defaultdict的用法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-06-06
这篇文章主要介绍了flask框架蓝图和子域名配置,结合实例形式详细分析了flask框架蓝图和子域名配置相关原理、操作技巧与注意事项,需要的朋友可以参考下2020-01-01
这篇文章主要介绍了如何在向量化NumPy数组上进行移动窗口的操作，具有很好的参考价值，希望对大家有所帮助。2021-05-05
这篇文章主要介绍了django 2.2和mysql使用的常见问题,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-07-07
上下文管理器可以使用 with 语句，with 语句之所以这么强大，背后是由上下文管理器做支撑的，也就是说刚才使用 open 函数创建的文件对象就是就是一个上下文管理器对象，这篇文章主要介绍了详解Python中的with语句和上下文管理器,需要的朋友可以参考下2022-10-10
最新评论