Node.js实现简单的爬取的示例代码
学习【node.js】也有几天时间了,所以打算写着练练手;索然我作为一个后端的选手,写起来还有那么一丝熟悉的感觉。emmm~~ ‘货'不多讲 ,开搞........
首先是依赖选择:
代码块如下:
//引入依赖 //https请求 const https = require('https'); //简称node版的jquery const cheerio = require('cheerio'); //解决防止出现乱码 const iconv = require('iconv-lite') //http请求 const request = require("request"); //负责读写文件 const fs = require('fs'); //处理文件路径 const path = require('path');
爬取路径:
代码块:(PS:这里单独拿出来是因为这个站的素材比较推荐,可以上去瞅瞅~~)
const url = 'https://unsplash.com/';
初步实现:
网站的基本构成
这里主要是我们直接确认一下需要的【img】标签,以及外面的【figure】,然后直接就可以开工了....
核心代码:
//方法对象 const util = { getsrc: function (url) { https.get(url, res => { const chunks = []; res.on('data', chunk => { // chunks里面存储着网页的html内容 chunks.push(chunk); }); res.on('end', e => { let ALL = []; //编码格式 let html = iconv.decode(Buffer.concat(chunks), 'utf8'); let $ = cheerio.load(html, { decodeEntities: false }); //标签遍历 $("figure img").each(function (idex, elent) { let $elent = $(elent); let $srcset = $elent.attr("srcset"); if ($srcset != undefined) { let src = ($srcset.split(',').pop()).split('?')[0]; ALL.push({ src: src }) } }); //遍历数组 每个后面加.jpg ALL.forEach(item => { util.downloadimg(item.src, path.basename(item.src) + ".jpg", function () { console.log(path.basename(item.src) + ".jpg"); }); }) }); res.on('error', e => { console.log('Error: ' + e.message); }); }); }, //运行主函数 main: function () { console.log("------start--------"); util.getsrc(url); }, //下载图片函数 downloadimg: function (src, srcname, callback) { //http请求 request.head(src, function (err, res, body) { if (err) { console.log('err:' + err); return false; } console.log('res: ' + res); //保存数据,这里是防止未来得及记录数据又开始读取数据而导致数据丢失 request(src).pipe(fs.createWriteStream('./img/' + srcname)).on('close', callback); }); } } //主函数 util.main();
然后就可以运行 node xxx.js 看运行结果。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。
相关文章
npm安装依赖报错ERESOLVE unable to resolve dependency tree的解决方
当我们拿到一个前端项目的时候,想要把它运行起来,首先是要给它安装依赖,下面这篇文章主要给大家介绍了关于npm安装依赖报错ERESOLVE unable to resolve dependency tree的解决方法,需要的朋友可以参考下2023-04-04node版本下报错build: `vue-cli-service build`问题及解决
这篇文章主要介绍了node版本下报错build: `vue-cli-service build`问题及解决方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教2023-01-01node.js中的fs.writeFileSync方法使用说明
这篇文章主要介绍了node.js中的fs.writeFileSync方法使用说明,本文介绍了fs.writeFileSync的方法说明、语法、接收参数、使用实例和实现源码,需要的朋友可以参考下2014-12-12
最新评论