python Scrapy框架原理解析
更新时间：2021年01月04日 11:47:51 作者：划水De雁晓明
这篇文章主要介绍了python Scrapy框架原理的相关资料，帮助大家更好的理解和使用python爬虫，感兴趣的朋友可以了解下
Python 爬虫包含两个重要的部分：正则表达式和Scrapy框架的运用， 正则表达式对于所有语言都是通用的，网络上可以找到各种资源。
如下是手绘Scrapy框架原理图，帮助理解
如下是一段运用Scrapy创建的spider：使用了内置的crawl模板，以利用Scrapy库的CrawlSpider。相对于简单的爬取爬虫来说，Scrapy的CrawlSpider拥有一些网络爬取时可用的特殊属性和方法：
$ scrapy genspider country_or_district example.python-scrapying.com--template=crawl
运行genspider命令后，下面的代码将会在example/spiders/country_or_district.py中自动生成。
# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from example.items import CountryOrDistrictItem
class CountryOrDistrictSpider(CrawlSpider):
name = 'country_or_district'
allowed_domains = ['example.python-scraping.com']
start_urls = ['http://example.python-scraping.com/']
rules = (
Rule(LinkExtractor(allow=r'/index/', deny=r'/user/'),
follow=True),
Rule(LinkExtractor(allow=r'/view/', deny=r'/user/'),
callback='parse_item'),
)
def parse_item(self, response):
item = CountryOrDistrictItem()
name_css = 'tr#places_country_or_district__row td.w2p_fw::text'
item['name'] = response.css(name_css).extract()
pop_xpath = '//tr[@id="places_population__row"]/td[@class="w2p_fw"]/text()'
item['population'] = response.xpath(pop_xpath).extract()
return item
爬虫类包括的属性：
- name: 识别爬虫的字符串。
- allowed_domains: 可以爬取的域名列表。如果没有设置该属性，则表示可以爬取任何域名。
- start_urls: 爬虫起始URL列表。
- rules: 该属性为一个通过正则表达式定义的Rule对象元组，用于告知爬虫需要跟踪哪些链接以及哪些链接包含抓取的有用内容。
以上就是python Scrapy框架原理解析的详细内容，更多关于Scrapy框架原理的资料请关注脚本之家其它相关文章！
相关文章
使用多线程，可以同时进行多项任务，可以使用户界面更友好，还可以后台执行某些用时长的任务，同时具有易于通信的优点。python3中多线程的实现使用了threading模块，它允许同一进程中运行多个线程，本文介绍的非常详细，,需要的朋友可以参考下2023-05-05
最长回文子串问题：给定一个字符串，求它的最长回文子串长度。如果一个字符串正着读和反着读是一样的，那它就是回文串。今天我们就来探讨下这个问题2018-01-01
Python 开发工具PyCharm安装教程图文详解(新手必看)
PyCharm是一种Python IDE，带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。今天通过本文给大家分享PyCharm安装教程，一起看看吧2020-02-02
这篇文章主要介绍了pytorch 计算Parameter和FLOP的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
这篇文章主要介绍了查看已安装tensorflow版本的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
Python基于os.environ从windows获取环境变量
这篇文章主要介绍了Python基于os.environ从windows获取环境变量,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-06-06
这篇文章主要介绍了Python实现单词拼写检查,本文讲解了单词拼写检查的一些知识并给出两种实现方法,需要的朋友可以参考下2015-04-04
这篇文章主要介绍了python使用wxpython开发简单记事本的方法,涉及Python使用wxPython实现桌面图形应用程序的技巧,需要的朋友可以参考下2015-05-05
PDF文件的数据主要是文本、图片、表格,这三部分组成,但是也会穿插流程图、各种柱状图等,这篇文章主要给大家介绍了关于Python读取pdf文件的简单代码示例,需要的朋友可以参考下2024-02-02
这篇文章主要介绍了在django中使用自定义标签实现分页功能,具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-07-07
最新评论