详解python3 + Scrapy爬虫学习之创建项目
更新时间：2019年04月12日 11:30:09 作者：s_kangkang_A
这篇文章主要介绍了python3 Scrapy爬虫创建项目，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
最近准备做一个关于scrapy框架的实战，爬取腾讯社招信息并存储，这篇博客记录一下创建项目的步骤
pycharm是无法创建一个scrapy项目的
因此，我们需要用命令行的方法新建一个scrapy项目
请确保已经安装了scrapy，twisted，pypiwin32
一：进入你所需要的路径，这个路径存储你创建的项目
我的将放在E盘的Scrapy目录下
二：创建项目：scrapy startproject ***(这个是项目名)
这样就创建好了一个名为tencent的项目
三：进入项目新建一个爬虫：scrapy genspider tencent_spider hr.tencent.com
这里我们要注意，上面的命令，加黑的是爬虫名称，斜体是域名
这样，我们就新建了一个爬虫项目，打开文件夹查看
打开spiders
然后我们用pycharm打开
点击File —>open，找到项目所在文件夹，打开即可
这样，我们就新建了一个scrapy项目，如果安装了所需要的库，scrapy飘红，记得去切换解释器
在File—>settings的标红的地方
另外推荐大家，在根目录下新建一个start.py的文件并写入
from scrapy import cmdline
cmdline.execute("scrapy crawl tencent_spider".split())
这样，我们每次运行，运行start.py，即可，不用到命令行执行运行命令
鼠标右键tencent，新建python文件，即可创建。
以上所述是小编给大家介绍的python3 Scrapy爬虫创建项目详解整合，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！
相关文章
这篇文章主要介绍了Python多版本安装与Jupyter Lab使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-01-01
这篇文章主要介绍了python多进程间通信代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
这篇文章主要介绍了Python中对字典的几个处理方法分享，文章围绕主题展开详细的内容介绍，具有一定的参考价值，感兴趣的小伙伴可以参考一下2022-08-08
Tensorflow 自带可视化Tensorboard使用方法(附项目代码)
这篇文章主要介绍了Tensorflow 自带可视化Tensorboard使用方法(附项目代码)，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-02-02
大家好，本篇文章主要讲的是python Pandas中数据的合并与分组聚合，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下2022-01-01
这篇文章主要介绍了Python函数装饰器,结合实例形式详细分析了Python装饰器的原理、功能、分类、常见操作技巧与使用注意事项,需要的朋友可以参考下2021-10-10
在编写程序时难免会遇到错误,有的是编写人员疏忽造成的语法错误,有的是程序内部隐含逻辑问题造成的数据错误等等,这篇文章主要给大家介绍了关于Python十类常见异常类型总结的相关资料,文中还附捕获及异常处理方式,需要的朋友可以参考下2023-06-06
今天小编就为大家分享一篇在python 中split()使用多符号分割的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-07-07
Django drf使用Django自带的用户系统的注册功能
本文主要介绍了Django drf使用Django自带的用户系统的注册功能，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-02-02
这篇文章主要介绍了Python图像灰度变换及图像数组操作的相关资料,需要的朋友可以参考下2016-01-01
最新评论