NodeJs爬虫框架Spider基础使用教程

 更新时间:2023年07月24日 09:13:48   作者:GeoffZhu  
这篇文章主要为大家介绍了NodeJs爬虫框架Spider基础使用教程,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

gz-spider

一个基于Puppeteer和Axios的NodeJs爬虫框架 源码仓库

为什么需要爬虫框架

爬虫框架可以简化开发流程,提供统一规范,提升效率。一套优秀的爬虫框架会利用多线程,多进程,分布式,IP池等能力,帮助开发者快速开发出易于维护的工业级爬虫,长期受用。

特性

  • 可配置代理
  • 支持任务重试
  • 支持Puppeteer
  • 异步队列服务友好
  • 多进程友好

安装

npm i gz-spider --save

使用

const spider = require('gz-spider');
// 每个爬虫是一个方法,需要通过setProcesser注册
spider.setProcesser({
  ['getGoogleSearchResult']: async (fetcher, params) => {
    // fetcher.page是原始的puppeteer page,可以直接用于打开页面
    let resp = await fetcher.axios.get(`https://www.google.com/search?q=${params}`);
    // throw 'Retry', will retry this processer
    // throw 'ChangeProxy', will retry this processer use new proxy
    // throw 'Fail', will finish this processer with message(fail) Immediately
    if (resp.status === 200) {
      // Data processing start
      let result = resp.data + 1;
      // Data processing end
      return result;
    } else {
      throw 'retry';
    }
  }
});
// 开始爬取
spider.getData('getGoogleSearchResult', params).then(userInfo => {
  console.log(userInfo);
});

配置

框架由三部分组成,fetcher、strategy、processer。

Fetcher

spider.setFetcher({
  axiosTimeout: 5000,
  proxyTimeout: 180 * 1000
  proxy() {
    // 支持返回Promise,可以从远端拉取代理的配置
    return {
      host: '127.0.0.1',
      port: '9000'
    }
  }
});
  • axiosTimeout: [Number] 每次爬虫请求的超时时间
  • proxyTimeout: [Number] 更新代理IP时间,代理IP有超时的场景使用,会重新执行proxy function,使用新的代理IP
  • proxy: [Object | Function] 当 proxy是[Function], 支持异步,可以从远端拉取代理的配置

    • proxy.host [String]
    • proxy.port [String]

Strategy

spider.setStrategy({
  retryTimes: 2
});
  • retryTimes: [Number] 最大重试次数

与任务队列结合使用

流程获取任务 -> `spider.getData(processerKey, processerIn)` -> 完成任务并带上处理好的数据

用MySql模拟任务队列

  • 创建spider-task表, 至少包含'id', 'status', 'processer_key', 'processer_input', 'processer_output'
  • 写一个拉取未完成任务的接口, 例如 GET /spider/task
  • 写一个完成任务的接口, 例如 PUT /spider/task
const axios = require('axios');
while (true) {
  // 获取任务
  let resp = await axios.get('http://127.0.0.1:8080/spider/task');
  if (!resp.data.task) break;
  let { id, processerKey, processerInput } = resp.data.task;
  let processerOutput = await spider.getData(processerKey, processerInput);
  // 完成任务并带上处理好的数据
  await axios.put('http://127.0.0.1:8080/spider/task', {
    id, processerOutput,
    status: 'success'
  });
}

对爬虫的一些理解

爬虫的运行方式就决定了它无法做到长久稳定和实时。在设计爬虫框架的时候,围绕的点是异步任务队列。工程上爬虫框架会提供一个高效的数据处理流水线,并可适配多种任务队列。

gz-spider分为三个组成部分,fetcher,strategy和processer。

  • fetcher抓取器,其中包含常用的http和puppeteer,并且可以挂各种类型的代理。
  • strategy策略中心,负责配置爬取失败后的各种策略。
  • processer负责从原始数据结构处理为目标数据的过程,也是爬虫框架用户要写的部分

License

MIT

以上就是NodeJs爬虫框架Spider基础使用教程的详细内容,更多关于NodeJs爬虫框架Spider的资料请关注脚本之家其它相关文章!

相关文章

  • Node.js实现注册邮箱激活功能的方法示例

    Node.js实现注册邮箱激活功能的方法示例

    现在很多网站都需要有注册邮箱激活的功能,本篇文章主要介绍了Node.js实现注册邮箱激活功能的方法示例,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-03-03
  • Node.js实现批量替换文件内容示例

    Node.js实现批量替换文件内容示例

    这篇文章主要为大家介绍了Node.js实现批量替换文件内容示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-08-08
  • 利用Node.js对文件进行重命名

    利用Node.js对文件进行重命名

    最近工作中遇到了对文件进行重命名的需求,后通过node.js实现了,所以下面这篇文章主要给大家介绍了利用Node.js对文件进行重命名的相关资料,文中介绍的非常详细,对大家具有一定的参考价值,需要的朋友们下面来一起看看吧。
    2017-03-03
  • Node.JS文件系统解析实例详解

    Node.JS文件系统解析实例详解

    这篇文章主要介绍了Node.JS文件系统解析实例详解的相关资料,需要的朋友可以参考下
    2017-05-05
  • Node.js如何优雅的封装一个实用函数的npm包的方法

    Node.js如何优雅的封装一个实用函数的npm包的方法

    这篇文章主要介绍了Node.js如何优雅的封装一个实用函数的npm包的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-04-04
  • node中的session的具体使用

    node中的session的具体使用

    这篇文章主要介绍了node中的session的具体使用,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-09-09
  • 使用node.js中的Buffer类处理二进制数据的方法

    使用node.js中的Buffer类处理二进制数据的方法

    大家应该都知道在客户端JavaScript脚本代码中,对二进制数据并没有提供一个很好的支持。然而,在处理TCP流或文件流时,必须要处理二进制数据。因此,下面通过这篇文章来一起看看利用node.js中的Buffer类处理二进制数据的方法,有需要的朋友们可以参考借鉴。
    2016-11-11
  • Node.js和Express中设置TypeScript的实现步骤

    Node.js和Express中设置TypeScript的实现步骤

    本文主要介绍了Node.js和Express中设置TypeScript的实现步骤文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-11-11
  • 详解node.js中的npm和webpack配置方法

    详解node.js中的npm和webpack配置方法

    Node.js用c++语言编写而成的,是一个基于chrome V8引擎的javascript运行环境。这篇文章主要介绍了详解node.js中的npm和webpack配置,需要的朋友可以参考下
    2018-01-01
  • nodejs express实现中间件

    nodejs express实现中间件

    这篇文章主要为大家介绍了nodejs express实现中间件实例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-10-10

最新评论