nodejs制作小爬虫功能示例
更新时间：2020年02月24日 10:44:11 作者：巴啦啦小能量
这篇文章主要介绍了nodejs制作小爬虫功能,结合实例形式分析了node.js安装request、cheerio模块及请求发送、数据库操作等相关实现技巧,需要的朋友可以参考下
本文实例讲述了nodejs制作小爬虫功能。分享给大家供大家参考，具体如下：
1 安装nodejs
2 安装需要模块
npm install request cheerio
3 新建js文件
4 引入
const request=require("request")
const cheerio=require("cheerio")
5 利用request模块发送请求
request('http://news.dgut.edu.cn/dgut/xydt/news_list.shtml',function(err,res){
if(err)
{
console.log('请求出错');
}
else
{
var $ = cheerio.load(res.body, {decodeEntities: false});
$('.listList').children('ul').children('li').each(function(){ //找到li元素对象然后通过each遍历
var newsTitle = $(this).children('a').text(); //得到<a>标签的文字
var newsTime= $(this).children('span').eq(1).text();//得到第二个<span>标签的文字
var newsUrl= "http://news.dgut.edu.cn"+$(this).children('a').attr('href');//得到<a>标签的href的值
item++;
console.log("已爬取"+item+"条记录");
});
}
});
一个小爬虫案例就完了
附上完整代码
request('http://news.dgut.edu.cn/dgut/xydt/news_list.shtml',function(err,res){
if(err)
{
console.log('请求出错');
}
else
{
var $ = cheerio.load(res.body, {decodeEntities: false});
$('.listList').children('ul').children('li').each(function(){ //找到li元素对象然后通过each遍历
var newsTitle = $(this).children('a').text(); //得到<a>标签的文字
var newsTime= $(this).children('span').eq(1).text();//得到第二个<span>标签的文字
var newsUrl= "http://news.dgut.edu.cn"+$(this).children('a').attr('href');//得到<a>标签的href的值
item++;
console.log("已爬取"+item+"条记录");
});
}
});
下面的带数据库
const request=require("request")
const cheerio=require("cheerio")
const mysql=require('mysql')
const db=mysql.createPool({host:'120.79.5554',user:'root',password:'root',database:'pachong'});
var item=0;
request('http://news.dgut.edu.cn/dgut/xydt/news_list.shtml',function(err,res){
if(err)
{
console.log('请求出错');
}
else
{
var $ = cheerio.load(res.body, {decodeEntities: false});
$('.listList').children('ul').children('li').each(function(){ //找到li元素对象然后通过each遍历
var newsTitle = $(this).children('a').text(); //得到<a>标签的文字
var newsTime= $(this).children('span').eq(1).text();//得到第二个<span>标签的文字
var newsUrl= "http://news.dgut.edu.cn"+$(this).children('a').attr('href');//得到<a>标签的href的值
console.log(newsTitle,newsTime,newsUrl)
db.query(`INSERT INTO news (newsTitle, newsTime, newsUrl) VALUE('${newsTitle}', '${newsTime}','${newsUrl}')`,function(err,data){
if(err)
{
console.log("数据库连接错误");
}
})
item++;
console.log("已爬取"+item+"条记录");
});
}
});
希望本文所述对大家node.js程序设计有所帮助。
相关文章
这篇文章主要给大家介绍了关于Nodejs中获取当前函数被调用的行数及文件名的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2018-12-12
Node.js 连接 MySql 统计组件属性的使用情况解析
这篇文章主要为大家介绍了Node.js 连接 MySql 统计组件属性的使用情况解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-10-10
使用 Node.js和Express搭建服务器的过程步骤详解
Node.js 是一个开源、跨平台的 JavaScript 运行时环境,这篇文章主要介绍了如何使用 Node.js和Express搭建服务器,需要的朋友可以参考下2023-09-09
相信接触过编程的同学应该都了解，在访问任何网页的时候，会伴随着许多的事件，例如点击菜单，移动鼠标等等。那么node.js是如何处理的？下面通过这篇文章就来给大家详细的介绍下node.js中的事件处理机制，有需要的朋友们可以参考借鉴，下面来一起学习学习吧。2016-11-11
这篇文章主要介绍了详解nodejs微信公众号开发——5.素材管理接口，非常具有实用价值，需要的朋友可以参考下2017-04-04
这篇文章主要给大家介绍了关于使用node.js实现接口步骤的相关资料,对于刚开始不会node写接口和调用接口,可以通过这个清晰的初步了解到整个过程,下面需要的朋友可以参考下2023-03-03
这篇文章主要介绍了nodejs处理图片的中间件node-images详解，非常具有实用价值，需要的朋友可以参考下2017-05-05
Node.js是一个基于Chrome JavaScript运行时建立的平台， 用于方便地搭建响应速度快、易于扩展的网络应用。本文给大家介绍Node.js插件安装的教程，非常实用，特此分享给大家，需要的朋友一起学习吧2016-05-05
给大家通过一个实例来教学如何用nodejs实现爬取网站图片功能，有兴趣的朋友收藏一下吧。2017-12-12
这篇文章主要给大家介绍了关于Node.js事件的正确使用方法，文中通过示例代码介绍的非常详细，对大家学习或者使用Node.js具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-04-04
最新评论