Python爬虫 scrapy框架爬取某招聘网存入mongodb解析

 更新时间:2019年07月31日 10:03:59   转载 作者:Tanglaoer  
这篇文章主要介绍了Python爬虫 scrapy框架爬取某招聘网存入mongodb解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

创建项目

scrapy startproject zhaoping

创建爬虫

cd zhaoping
scrapy genspider hr zhaopingwang.com

目录结构

items.py

  title = scrapy.Field()
  position = scrapy.Field()
  publish_date = scrapy.Field()

pipelines.py

from pymongo import MongoClient

mongoclient = MongoClient(host='192.168.226.150',port=27017)
collection = mongoclient['zhaoping']['hr']

class TencentPipeline(object):
  def process_item(self, item, spider):
    print(item)
    # 需要转换为 dict
    collection.insert(dict(item))
    return item

spiders/hr.py

def parse(self, response):
    # 不要第一个 和最后一个
    tr_list = response.xpath("//table[@class='tablelist']/tr")[1:-1]
    for tr in tr_list:
      item = TencentItem()
      # xpath 从1 开始数起
      item["title"] = tr.xpath("./td[1]/a/text()").extract_first()
      item["position"] = tr.xpath("./td[2]/text()").extract_first()
      item["publish_date"] = tr.xpath("./td[5]/text()").extract_first()
      yield item

    next_url = response.xpath("//a[@id='next']/@href").extract_first()
    # 构造url
    if next_url != "javascript:;":
      print(next_url)
      next_url = "https://hr.tencent.com/" + next_url
      yield scrapy.Request(url=next_url,callback=self.parse,)

就是这么简单,就获取到数据

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • Numpy数组转置的两种实现方法

    Numpy数组转置的两种实现方法

    下面小编就为大家分享一篇Numpy数组转置的两种实现方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-04-04
  • pygame实现非图片按钮效果

    pygame实现非图片按钮效果

    这篇文章主要介绍了pygame实现非图片按钮效果,不使用图片制作,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-10-10
  • Python标准库:内置函数max(iterable, *[, key, default])说明

    Python标准库:内置函数max(iterable, *[, key, default])说明

    这篇文章主要介绍了Python标准库:内置函数max(iterable, *[, key, default])说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-04-04
  • python 接口实现 供第三方调用的例子

    python 接口实现 供第三方调用的例子

    今天小编就为大家分享一篇python 接口实现 供第三方调用的例子,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08
  • python类装饰器用法实例

    python类装饰器用法实例

    这篇文章主要介绍了python类装饰器用法,实例分析了Python类装饰器的相关使用方法,需要的朋友可以参考下
    2015-06-06
  • 在python3中pyqt5和mayavi不兼容问题的解决方法

    在python3中pyqt5和mayavi不兼容问题的解决方法

    今天小编就为大家分享一篇在python3中pyqt5和mayavi不兼容问题的解决方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • python 获取一个值在某个区间的指定倍数的值方法

    python 获取一个值在某个区间的指定倍数的值方法

    今天小编就为大家分享一篇python 获取一个值在某个区间的指定倍数的值方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-11-11
  • Pytorch.nn.conv2d 过程验证方式(单,多通道卷积过程)

    Pytorch.nn.conv2d 过程验证方式(单,多通道卷积过程)

    今天小编就为大家分享一篇Pytorch.nn.conv2d 过程验证方式(单,多通道卷积过程),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-01-01
  • Python Selenium参数配置方法解析

    Python Selenium参数配置方法解析

    这篇文章主要介绍了Python Selenium参数配置方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-01-01
  • Python中实现的RC4算法

    Python中实现的RC4算法

    这篇文章主要介绍了Python中实现的RC4算法,本文给出了类和函数两种实现方式,需要的朋友可以参考下
    2015-02-02

最新评论