Python的爬虫框架scrapy用21行代码写一个爬虫

 更新时间:2017年04月24日 08:34:17   作者:凌霄  
最近在学习Python的爬虫框架scrapy,通过爬取线报网站后发现整个过程还是挺值得学习的,所以下面这篇文章主要就给大家介绍了Python的爬虫框架scrapy利用21行代码写一个爬虫的相关资料,需要的朋友可以参考借鉴,下面来一起看看吧。

开发说明

开发环境:Pycharm 2017.1(目前最新)

开发框架:Scrapy 1.3.3(目前最新)

目标

爬取线报网站,并把内容保存到items.json里

页面分析


根据上图我们可以发现内容都在类为post这个div里

下面放出post的代码

<div class="post">
<!-- baidu_tc block_begin: {"action": "DELETE"} -->
<div class="date"><span>04月</span><span class="f">07日</span></div><!-- baidu_tc block_end -->
<h2><a href="http://www.abckg.com/193.html" rel="external nofollow" title="4月7日 淘金币淘里程领取京东签到" rel="bookmark" target="_blank">4月7日 淘金币淘里程领取京东签到</a><span>已结束</span></h2>
<h6>发布日期: 2017-04-07 | 分类: <a href="http://www.abckg.com/xunibi" rel="external nofollow" >虚拟币</a> | 浏览:125177
</h6><div class="intro"><p>淘金币一键领取 http://021.tw/t/ https://www.chaidu.com/App/Web/Taobao-Coin/ 【电脑端30金币】 https://taojinbi.taobao.com/inde ... auto_take=true 【手机端30金币】 http://h5.m.taobao...</p></div></div>

实现方法

1、定义items

class DemoItem(scrapy.Item):
 id = scrapy.Field()
 title = scrapy.Field()
 href = scrapy.Field()
 content = scrapy.Field()

2、新建一个爬虫名为test

# -*- coding: utf-8 -*-
import scrapy
from demo.items import DemoItem
from scrapy.http import Request
class TestSpider(scrapy.Spider):
 #定义爬虫的名字和需要爬取的网址
 name = "test"
 allowed_domains = ["www.abckg.com"]
 start_urls = ['http://www.abckg.com/']
 def parse(self, response):
 for resp in response.css('.post'):
  #实例化item
  item = DemoItem()
  #把获取到的内容保存到item内
  item['href'] = resp.css('h2 a::attr(href)').extract()
  item['title'] = resp.css('h2 a::text').extract()
  item['content'] = resp.css('.intro p::text').extract()
  yield item
  
 #下面是多页面的爬取方法
 urls = response.css('.pageinfo a::attr(href)').extract()
 for url in urls:
  yield Request(url, callback=self.parse)
 categorys = response.css('.menu li a::attr(href)').extract()
 for ct in categorys:
  yield Request(ct, callback=self.parse)

3、修改settings.py,添加以下代码

FEED_EXPORT_ENCODING = 'utf-8'

#运行

打开cmd输入

scrapy crawl test -o items.json

已知bug

如果多次运行该爬虫,不会覆盖原有的内容,而是追加数据(好像是scrapy的bug)

可拓展内容

     1、定时运行爬虫,当检查到网站更新时获取新数据并发邮件通知

     2、检测数据是否重复

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者使用python能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。

相关文章

  • Djanog admin 显示图片及触发器讲解

    Djanog admin 显示图片及触发器讲解

    这篇文章主要为大家介绍了Djanog admin 显示图片及触发器讲解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-06-06
  • 详谈python http长连接客户端

    详谈python http长连接客户端

    下面小编就为大家带来一篇详谈python http长连接客户端。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-06-06
  • Python使用百度api做人脸对比的方法

    Python使用百度api做人脸对比的方法

    今天小编就为大家分享一篇Python使用百度api做人脸对比的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08
  • NumPy之矩阵向量线性代数等操作示例

    NumPy之矩阵向量线性代数等操作示例

    这篇文章主要为大家介绍了NumPy之矩阵向量线性代数等操作示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-04-04
  • Python应用实现处理excel数据过程解析

    Python应用实现处理excel数据过程解析

    这篇文章主要介绍了Python应用实现处理excel数据过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-06-06
  • python和c语言哪个更适合初学者

    python和c语言哪个更适合初学者

    在本篇文章里小编给大家分享的是一篇关于python和c语言哪个更适合初学者的相关文章,有兴趣的朋友们学习下。
    2020-06-06
  • Python中numpy数组的计算与转置详解

    Python中numpy数组的计算与转置详解

    大家好,本篇文章主要讲的是Python中numpy数组的计算与转置详解,感兴趣的同学赶快来看一看吧,对你有帮助的话记得收藏一下,方便下次浏览
    2021-12-12
  • python 多进程和多线程使用详解

    python 多进程和多线程使用详解

    这篇文章主要介绍了python 多进程和多线程使用详解,帮助大家更好得理解和学习使用python,感兴趣的朋友可以了解下
    2021-03-03
  • python从入门到精通(DAY 1)

    python从入门到精通(DAY 1)

    本文是此次python从入门到精通系列文章的第一篇,给大家汇总一下常用的Python的基础知识,非常的简单,但是很全面,有需要的小伙伴可以参考下
    2015-12-12
  • 使用python 的matplotlib 画轨道实例

    使用python 的matplotlib 画轨道实例

    今天小编就为大家分享一篇使用python 的matplotlib 画轨道实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-01-01

最新评论