Node.js 如何利用异步提升任务处理速度

 更新时间:2019年01月07日 08:19:49   作者:全栈渐进之路   我要评论
这篇文章主要介绍了Node.js 如何利用异步提升任务处理速度,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

今天在做一个小任务,需要调用阿里云的图像识别接口,对 62662 张照片进行场景识别,并将结果写到本地的 csv 文件中。

因为任务很简单,没想很多就开始码。自从有了 async/await 之后,已经很久不写 callback 了,所以上手就写成这样:

本文所有代码均有简化,只保留关键过程

async fetchSceneTags(imagePath) {
  try {
   const result = await callAliyunAPI(imagePath);
   return result.errno === 0 ? result.tags : [];
 } catch(error) {
   return [];    
 }
}

async function writeScene(paths) {
  for (let i = 0, len = paths.length; i < len; i++) {
    await tags = fetchSceneTags(paths[i])
    writeToFile(tags);
    writeStdout(`${i} / ${len}`);
  }
}

function start() {
  const paths = loadPaths();
  writeScene(paths);
}

运行起来以后没问题就放着忙别的去了。过了差不多 2 小时回来一看,才跑了 17180 张图,每分钟 144 张。这才意识到同步速度太慢了,于是停掉进程,将代码改成下面这样:

fetchSceneTagsAsync(imagePath, callback) {
  callAliyunAPI(imagePath)
    .then(result => {
   const tags = result.errno === 0 ? result.tags : [];
     callback(tags);
   })
    .catch(error => callback([]));
}

function writeSceneAsync(paths) {
  const callback = tags => {
    await tags = fetchSceneTagsAsync(paths[i])
    writeToFile(tags);
  }
  
  paths.forEach(path => fetchSceneTagsAsync(path, callback));
}

function start() {
  const paths = loadPaths();
  writeSceneAsync(paths);
}

跑了一下,直接停摆了。嗯,不能一下把请求全发出去,加一个 Throttle:

fetchSceneTagsAsync(imagePath, callback) {
  callAliyunAPI(imagePath)
    .then(result => {
   const tags = result.errno === 0 ? result.tags : [];
     callback(tags);
   })
    .catch(error => callback([]));
}

function throttle(paths, callback) {
  if(paths.length === 0) return;
  
  const sub = paths.splice(0, 10);
  sub.forEach(path => fetchSceneTagsAsync(path, callback));
 setTimeout(() => throttle(paths, callback), 1000)
}

function writeSceneAsync(paths) {
  const callback = tags => {
    await tags = fetchSceneTagsAsync(paths[i])
    writeToFile(tags);
  }
  
  throttle(paths, callback)
}

function start() {
  const paths = loadPaths();
  writeSceneAsync(paths);
}

重新启动服务,观察了一下,大约每分钟处理 568 张图片,速度提升约 4 倍。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • 详解nodejs 文本操作模块-fs模块(二)

    详解nodejs 文本操作模块-fs模块(二)

    这篇文章主要介绍了详解nodejs 文本操作模块-fs模块(二),主要包括文件的读写操作,有兴趣的可以了解一下。
    2016-12-12
  • Node.js连接MongoDB数据库产生的问题

    Node.js连接MongoDB数据库产生的问题

    Node.js是使用JavaScript 编写的可以运行在服务端的JS语言。node.js和mongodb碰撞会产生一系列问题,下面通过本文给大家分享Node.js连接MongoDB数据库,需要的的朋友参考下
    2017-02-02
  • nodejs mysql 实现分页的方法

    nodejs mysql 实现分页的方法

    本篇文章主要介绍了nodejs mysql 实现分页的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-06-06
  • node.js学习笔记之koa框架和简单爬虫练习

    node.js学习笔记之koa框架和简单爬虫练习

    这篇文章主要介绍了node.js学习笔记之koa框架和简单爬虫练习,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-12-12
  • Nodejs如何搭建Web服务器

    Nodejs如何搭建Web服务器

    这篇文章主要介绍了Nodejs如何搭建Web服务器,本文教大家使用 Nodejs搭建一个简单的Web服务器,感兴趣的小伙伴们可以参考一下
    2016-03-03
  • mac中利用NVM管理不同node版本的方法详解

    mac中利用NVM管理不同node版本的方法详解

    这篇文章主要给大家介绍了关于在mac中利用NVM管理不同node版本的相关资料,文中详细介绍了nvm的安装和卸载、nvm安装node的方法,以及nvm如何管理node版本,需要的朋友可以参考借鉴,下面随着小编来一起学习学习吧。
    2017-11-11
  • 我的Node.js学习之路(四)--单元测试

    我的Node.js学习之路(四)--单元测试

    在专业化的软件开发过程中,无论什么平台语言,现在都需要UnitTest单元测试. Node.js有built-in的Assert。 今天让我们来看一下Node.js的单元测试。在这儿我们使用nodeunit
    2014-07-07
  • Egret引擎开发指南之发布项目

    Egret引擎开发指南之发布项目

    当我们制作完成一个项目后,我们需要把项目发布为正式版本,并放到网上提供给玩家。那么在egret中简单的使用build命令并非打包最终的正式版文件。你还需要进行最终的发布操作。
    2014-09-09
  • 深入了解Node.js中的一些特性

    深入了解Node.js中的一些特性

    这篇文章主要介绍了深入了解Node.js中的一些特性,本文对EventEmitter、Streams、Coding Style、Linting、Coding Style等特性进行分析探讨,需要的朋友可以参考下
    2014-09-09
  • Node.js之网络通讯模块实现浅析

    Node.js之网络通讯模块实现浅析

    本篇文章主要介绍了Node.js之网络通讯模块实现浅析,具有一定的参考价值,有兴趣的可以了解一下。
    2017-04-04

最新评论