node.js爬虫爬取拉勾网职位信息
简介
用node.js写了一个简单的小爬虫，用来爬取拉勾网上的招聘信息，共爬取了北京、上海、广州、深圳、杭州、西安、成都7个城市的数据，分别以前端、PHP、java、c++、python、Android、ios作为关键词进行爬取，爬到的数据以json格式储存到本地，为了方便观察，我将数据整理了一下供大家参考
数据结果
上述数据为3月13日22时爬取的数据，可大致反映各个城市对不同语言的需求量。
爬取过程展示
控制并发进行爬取
爬取到的数据文件
json数据文件
爬虫程序
实现思路
请求拉钩网的 “https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&city=城市&kd=关键词&pn=页数”可以返回一个json格式的数据，该数据包含所要请求职位的信息，省去了使用chreio解析的麻烦，所以直接用superagent来进行请求上述地址，并将数据储存在本地即可，其中参数city是为城市，kd为所要搜索的关键词，pn为要请求的页数，当中使用到了async来控制异步流程，使得并发数不超过3，防止被封ip。
代码地址及使用
github：https://github.com/zsqosos/positionAnalysis
代码请在github上查看，使用该程序需要安装node环境，如果觉得还不错的话烦请给个star，欢迎大家修改使用该程序。
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，同时也希望多多支持脚本之家！
相关文章
node.js中的buffer.Buffer.isEncoding方法使用说明
这篇文章主要介绍了node.js中的buffer.Buffer.isEncoding方法使用说明,本文介绍了buffer.Buffer.isEncoding的方法说明、语法、接收参数、使用实例和实现源码,需要的朋友可以参考下2014-12-12
从目前我了解的情况来看，前后端跨域使用的方式有很多种，这里记录我使用最顺手的一种，即在后端使用cors跨域，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-08-08
这篇文章主要给大家介绍了关于从Node.js事件触发器到Vue自定义事件的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2020-06-06
这篇文章主要介绍了node.js中的fs.rmdirSync方法使用说明,本文介绍了fs.rmdirSync方法说明、语法、接收参数、使用实例和实现源码,需要的朋友可以参考下2014-12-12
Node.js是使用JavaScript 编写的可以运行在服务端的JS语言。node.js和mongodb碰撞会产生一系列问题，下面通过本文给大家分享Node.js连接MongoDB数据库，需要的的朋友参考下2017-02-02
本文主要是分享下，个人对node.js的一些认识和理解，希望对大家有所帮助2014-07-07
从零开始学习Node.js系列教程之基于connect和express框架的多页面实现数学运算示例
这篇文章主要介绍了Node.js基于connect和express框架的多页面实现数学运算,简单讲述了connect和express框架的原理及数学运算相关操作技巧,需要的朋友可以参考下2017-04-04
这篇文章主要介绍了Node.js和MongoDB实现简单日志分析系统,本文给出了服务器端、客户端、图表生成、Shell自动执行等功能的实现代码,需要的朋友可以参考下2015-04-04
本文通过实例代码给大家介绍了使用node.js对音视频文件加密的方法，非常不错，具有参考借鉴价值，需要的的朋友参考下吧2017-08-08
关于Error:EPERM:operation not permitted,mkdir...的几种解决办法对比
这篇文章主要给大家介绍了关于Error:EPERM:operation not permitted,mkdir...的几种解决办法对比,文中通过图文介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2023-01-01
最新评论