Python Scrapy多页数据爬取实现过程解析
更新时间:2020年06月12日 10:04:47 作者:Hedger_Lee
这篇文章主要介绍了Python Scrapy多页数据爬取实现过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
1.先指定通用模板
url = 'https://www.qiushibaike.com/text/page/%d/'#通用的url模板
pageNum = 1
2.对parse方法递归处理
parse第一次调用表示的是用来解析第一页对应页面中的数据
对后面的页码的数据要进行手动发送
if self.pageNum <= 5: self.pageNum += 1 new_url = format(self.url%self.pageNum) #手动请求(get)的发送 yield scrapy.Request(new_url,callback=self.parse)
完整示例
class QiubaiSpider(scrapy.Spider): name = 'qiubai' # allowed_domains = ['www.xxx.com'] start_urls = ['https://www.qiushibaike.com/text/'] url = 'https://www.qiushibaike.com/text/page/%d/'#通用的url模板 pageNum = 1 #parse第一次调用表示的是用来解析第一页对应页面中的段子内容和作者 def parse(self, response): div_list = response.xpath('//*[@id="content-left"]/div') all_data = [] for div in div_list: author = div.xpath('./div[1]/a[2]/h2/text()').extract_first() content = div.xpath('./a[1]/div/span//text()').extract() content = ''.join(content) # 将解析的数据存储到item对象 item = QiubaiproItem() item['author'] = author item['content'] = content # 将item提交给管道 yield item # item一定是提交给了优先级最高的管道类 if self.pageNum <= 5: self.pageNum += 1 new_url = format(self.url%self.pageNum) #手动请求(get)的发送 yield scrapy.Request(new_url,callback=self.parse)
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。
相关文章
python 获取文件下所有文件或目录os.walk()的实例
下面小编就为大家分享一篇python 获取文件下所有文件或目录os.walk()的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04集调试共享及成本控制Prompt工具PromptLayer使用指南
这篇文章主要介绍了集调试共享及成本控制Prompt工具PromptLayer使用指南,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-03-03python 实现12bit灰度图像映射到8bit显示的方法
这篇文章主要介绍了python 实现12bit灰度图像映射到8bit显示的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2019-07-07Python实现曲线拟合操作示例【基于numpy,scipy,matplotlib库】
这篇文章主要介绍了Python实现曲线拟合操作,结合实例形式分析了Python基于numpy,scipy,matplotlib库读取csv数据、计算曲线拟合及图形绘制相关操作技巧,需要的朋友可以参考下2018-07-07
最新评论