Python爬虫基础讲解之scrapy框架
网络爬虫
网络爬虫是指在互联网上自动爬取网站内容信息的程序，也被称作网络蜘蛛或网络机器人。大型的爬虫程序被广泛应用于搜索引擎、数据挖掘等领域，个人用户或企业也可以利用爬虫收集对自身有价值的数据。
一个网络爬虫程序的基本执行流程可以总结三个过程：请求数据，解析数据，保存数据
数据请求
请求的数据除了普通的HTML之外，还有json数据、字符串数据、图片、视频、音频等。
解析数据
当一个数据下载完成后，对数据中的内容进行分析，并提取出需要的数据，提取到的数据可以以多种形式保存起来，数据的格式有非常多种，常见的有csv、json、pickle等
保存数据
最后将数据以某种格式(CSV、JSON)写入文件中，或存储到数据库（MySQL、MongoDB)中。同时保存为一种或者多种。
通常，我们想要获取的数据并不只在一个页面中，而是分布在多个页面中，这些页面彼此联系，一个页面中可能包含一个或多个到其他页面的链接，提取完当前页面中的数据后，还要把页面中的某些链接也提取出来，然后对链接页面进行爬取（循环1-3步骤)。
设计爬虫程序时，还要考虑防止重复爬取相同页面(URL去重)、网页搜索策略（深度优先或广度优先等)、爬虫访问边界限定等一系列问题。
从头开发一个爬虫程序是一项烦琐的工作，为了避免因制造轮子而消耗大量时间，在实际应用中我们可以选择使用一些优秀的爬虫框架，使用框架可以降低开发成本，提高程序质量，让我们能够专注于业务逻辑（爬取有价值的数据)。接下来，就带你学习目前非常流行的开源爬虫框架Scrapy。
scrapy安装
scrapy官网：https://scrapy.org/
scrapy中文文档：https://www.osgeo.cn/scrapy/intro/overview.html
安装方式
在任意操作系统下，可以使用pip安装Scrapy，例如：
pip install scrapy
安装完成后我们需要测试安装是否成功，通过如下步骤确认：
在终端中测试能否执行scrapy这条命令
scrapy 2.4.0 - no active project
usage:
scrapy <command>[options] [args]
Available commands :
bench Run quick benchmark test
fetch Fetch a URL using the scrapy down1oader
genspider Generate new spider using pre-defined temp1ates
runspider Run a self-contained spider (without creating a project)
settings Get settings values
she11 Interactive scraping console
startproject create new project
version Print scrapy version
view open URL in browser,as seen by scrapy
[ more ] More commands available when run from project directory
use "scrapy <command> -h" to see more info about a command
输入scrapy bench测试连通性，如果出现以下情况表示安装成功：
通过了以上两项检测，说明Scrapy安装成功了。如上所示，我们安装的是当前最新版本2.4.0。
注意：
在安装Scrapy的过程中可能会遇到缺少VC++等错误，可以安装缺失模块的离线包
成功安装后，在CMD下运行scrapy出现上图不算真正成功，检测真正是否成功使用scrapybench测试，如果没有提示错误，就代表成功安装。
全局命令
scrapy 2.4.0 - no active project usage: scrapy <command>[options] [args] Available commands : bench Run quick benchmark test #测试电脑性能 fetch Fetch a URL using the scrapy down1oader#将源代码下载下来并显示出来 genspider Generate new spider using pre-defined temp1ates#创建一个新的spider文件 runspider Run a self-contained spider (without creating a project)# 这个和通过craw1启动爬虫不同，scrapy runspider爬虫文件名称 settings Get settings values#获取当前的配置信息 she11 Interactive scraping console#进入scrapy 的交互模式 startproject create new project#创建爬虫项目 version Print scrapy version#显示scrapy框架的版本 view open URL in browser，as seen by scrapy#将网页document内容下载下来，并且在浏览器显示出来 [ more ] More commands available when run from project directory use "scrapy <command> -h" to see more info about a command
项目命令
- scrapy startproject projectname
- 创建一个项目
- scrapy genspider spidername domain
- 创建爬虫。创建好爬虫项目以后，还需要创建爬虫。
- scrapy crawl spidername
- 运行爬虫。注意该命令运行时所在的目录。
到此这篇关于Python爬虫基础讲解之scrapy框架的文章就介绍到这了,更多相关Python scrapy框架内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
今天小编就为大家分享一篇对python 生成拼接xml报文的示例详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
这篇文章主要介绍了python pillow模块使用方法详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-08-08
这篇文章主要介绍了Python 使用元类type创建类对象,结合实例形式详细分析了Python元类的概念、功能及元类type创建类对象的常见应用技巧,需要的朋友可以参考下2019-10-10
这篇文章主要介绍了基于Keras的格式化输出Loss实现方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
我们刷视频时常常会想把精彩的视频保存到本地，如果少数的还行，如果有很多的话一个个保存太麻烦了。本文教你如何用Python实现视频批量保存到本地，需要的可以参考一下2022-05-05
这篇文章主要介绍了浅谈Python中os模块及shutil模块的常规操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
这篇文章主要介绍了用Python中的字典来处理索引统计的方法,字典的使用是Python学习当中的基础知识,本文则是相关的一个小实践,需要的朋友可以参考下2015-05-05
这篇文章主要介绍了python保存字典和读取字典的实例代码,通过代码给大家介绍了python 使用列表和字典存储信息的相关代码，需要的朋友可以参考下2019-07-07
这篇文章主要介绍了浅谈Python模块导入规范，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-04-04
在本篇文章里小编给大家分享的是关于python连乘计算的代码，有兴趣的朋友们可以参考学习下。2020-05-05
最新评论