基于node.js实现爬虫的讲解
更新时间：2019年02月18日 16:49:09 作者：Inside_Zhang
今天小编就为大家分享一篇关于基于node.js实现爬虫的讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
1. cheerio 与 request
- request：模拟客户端行为，对页面进行请求
- cheerio：对服务器端返回的页面进行解析；
var cheerio = require('cheerio');
var request = require('request');
var startUrl = 'http://www.baidu.com'
request(startUrl, function(err, response) {
if (err) {
console.log(err);
}
var $ = cheerio.load(response.body);
var title = $('title').text();
console.log(title);
}
2. 认识 cheerio
获取 element 位置
通过 class 属性进行匹配：
var $=cheerio.load('<div class="container"></div>');
$('.container')
取其链接：<a class="downbtn" href="http://mov.bn.netease.com/mobilev/2013/1/F/G/S8KTEF7FG.mp4" id="M8KTEKR84" target="_blank"></a>
$('a.downbtn').attr('href')
某一页面下的全部可链接：
var url =
var $ = cheerio.load(data);
$("a.downbtn").each(function(i, e) {
console.log($(e).attr("href"));
});
console.log("done");
} else {
console.log("error");
}
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接
相关文章
本篇文章主要介绍了详解如何在NodeJS项目中优雅的使用ES6，具有一定的参考价值，感兴趣的小伙伴们可以参考一下。2017-04-04
这篇文章主要介绍了PM2自动部署代码步骤流程总结，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-12-12
这篇文章主要介绍了nodejs微信开发之授权登录+获取用户信息，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-03-03
这篇文章主要介绍了nodejs简单读写excel内容的方法,简单分析了nodejs常见的读写Excel模块,并结合实例形式分析了nodejs读写Excel具体操作技巧,需要的朋友可以参考下2018-03-03
这篇文章主要介绍了node 文件上传接口的转发的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-09-09
Linux下为Node.js程序配置MySQL或Oracle数据库的方法
这篇文章主要介绍了Linux下为Node.js程序配置MySQL或Oracle数据库的方法,这里默认已经装配好了Node环境然后我们利用npm包管理工具来进行配置,需要的朋友可以参考下2016-03-03
本文介绍使用NodeJs搭建的后端server快速生成Swagger接口文档的技巧,本文有详细的步骤讲解,通过代码示例给大家介绍的非常详细,具有一定的参考价值,需要的朋友可以参考下2024-01-01
加密操作可能很棘手,以至于付费的加密服务公司的存在只是为了确保在代码库中正确实现加密操作,本文给大家介绍node中的crypto模块操作方法,感兴趣的朋友跟随小编一起看看吧2023-10-10
如果你觉得npm比较慢,又不想用yarn,那么pnpm是一个很好的选择,下面这篇文章主要给大家介绍了关于pnpm的安装和使用的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-05-05
这篇文章主要介绍了node koa2实现上传图片并且同步上传到七牛云存储，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-07-07
最新评论