详解50行代码,Node爬虫练手项目

 更新时间:2019年04月22日 10:13:05   作者:zy_2071  
这篇文章主要介绍了50行代码,Node爬虫练手项目,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

First

项目地址:Crawler-for-Github-Trending

项目中基本每一句代码都写有注释(因为就这么几行😂),适合对Node爬虫感兴趣的同学入入门。

Introduction

50 lines, minimalist node crawler for Trending.

一个50行的node爬虫,一个简单的 axios, express, cheerio 体验项目。

Usage

首先保证电脑已存在node环境,然后

1.拉取本项目

git clone https://github.com/ZY2071/Crawler-for-Github-Trending.git
cd Crawler-for-Github-Trending
npm i
node index.js

2.或者下载本项目压缩包,解压

cd Crawler-for-Github-Trending-master // 进入项目文件夹
npm i
node index.js

Examples

当启动项目后,可以看到控制台输出

Listening on port 3000!

 此时打开浏览器,进入本地服务 http://localhost:3000/daily

http://localhost:3000/time-language // time表示周期,language代表语言  例如:
http://localhost:3000/daily // 代表今日 可选参数:weekly,monthly
http://localhost:3000/daily-JavaScript// 代表今日的java分类 可选参数:任意语言

 稍微等待即可看到爬取完毕的返回数据:

[
 {
 "title": "lib-pku / libpku",
 "links": "https://github.com/lib-pku/libpku",
 "description": "贵校课程资料民间整理",
 "language": "JavaScript",
 "stars": "14,297",
 "forks": "4,360",
 "info": "3,121 stars this week"
 },
 {
 "title": "SqueezerIO / squeezer",
 "links": "https://github.com/SqueezerIO/squeezer",
 "description": "Squeezer Framework - Build serverless dApps",
 "language": "JavaScript",
 "stars": "3,212",
 "forks": "80",
 "info": "2,807 stars this week"
 },
 ...
]

More

本项目仅供爬取体验,每次访问都会实时爬取数据,所以数据返回速度会比较慢,实际操作应该是定时爬取数据然后将数据存进数据库,数据从数据库返回从而提高数据返回效率。

但项目很基础,可以作为以上各个node模块最基础的练手使用,希望可以帮到大家 😀

相关文章

  • 使用nvm管理不同版本的node与npm的方法

    使用nvm管理不同版本的node与npm的方法

    本篇文章主要介绍了使用 nvm 管理不同版本的 node 与 npm的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-10-10
  • nodejs部署到腾讯云的实现方法

    nodejs部署到腾讯云的实现方法

    本文主要介绍了nodejs部署到腾讯云的实现方法,文中根据实例编码详细介绍的十分详尽,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-03-03
  • node.js通过url读取文件

    node.js通过url读取文件

    这篇文章主要为大家详细介绍了node.js通过url读取文件,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-10-10
  • Node.js包管理器npm的具体使用

    Node.js包管理器npm的具体使用

    Node.js安装包中都带有一个重要的工具 包管理器npm,本文主要介绍了Node.js包管理器npm的具体使用,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-11-11
  • 详解一个基于套接字实现长连接的express

    详解一个基于套接字实现长连接的express

    这篇文章主要介绍了详解一个基于套接字实现长连接的express,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-03-03
  • node.js 使用ejs模板引擎时后缀换成.html

    node.js 使用ejs模板引擎时后缀换成.html

    本文给大家分享一个nodejs的小技巧,将ejs模板引擎的模板后缀改成.html的使用方法,非常的简单实用,这里推荐给大家。
    2015-04-04
  • node.js生成与读取csv文件方法详解

    node.js生成与读取csv文件方法详解

    这篇文章主要介绍了node.js生成与读取csv文件方法详解,需要的朋友可以参考下
    2022-10-10
  • Node.js的路由、EJS模板引擎、GET和POST请求讲解

    Node.js的路由、EJS模板引擎、GET和POST请求讲解

    这篇文章介绍了Node.js的路由、EJS模板引擎、GET和POST请求,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-06-06
  • 前端自动化开发之Node.js的环境搭建教程

    前端自动化开发之Node.js的环境搭建教程

    这篇文章主要介绍了前端自动化开发之Node.js环境搭建的相关资料,文中介绍的非常详细,对大家学习或者使用node.js具有一定的参考价值,需要的朋友们下面来一起看看吧。
    2017-04-04
  • Node.js:模块查找,引用及缓存机制详解

    Node.js:模块查找,引用及缓存机制详解

    Node.js是一个基于Chrome V8引擎的JavaScript运行环境,它的模块查找、引用和缓存机制是其重要的特性之一。本文将介绍Node.js的模块查找、引用和缓存机制,以及如何利用这些机制来提高应用程序的性能和可维护性。
    2023-03-03

最新评论