Node.js 如何利用异步提升任务处理速度

 更新时间:2019年01月07日 08:19:49   作者:全栈渐进之路  
这篇文章主要介绍了Node.js 如何利用异步提升任务处理速度,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

今天在做一个小任务,需要调用阿里云的图像识别接口,对 62662 张照片进行场景识别,并将结果写到本地的 csv 文件中。

因为任务很简单,没想很多就开始码。自从有了 async/await 之后,已经很久不写 callback 了,所以上手就写成这样:

本文所有代码均有简化,只保留关键过程

async fetchSceneTags(imagePath) {
  try {
   const result = await callAliyunAPI(imagePath);
   return result.errno === 0 ? result.tags : [];
 } catch(error) {
   return [];    
 }
}

async function writeScene(paths) {
  for (let i = 0, len = paths.length; i < len; i++) {
    await tags = fetchSceneTags(paths[i])
    writeToFile(tags);
    writeStdout(`${i} / ${len}`);
  }
}

function start() {
  const paths = loadPaths();
  writeScene(paths);
}

运行起来以后没问题就放着忙别的去了。过了差不多 2 小时回来一看,才跑了 17180 张图,每分钟 144 张。这才意识到同步速度太慢了,于是停掉进程,将代码改成下面这样:

fetchSceneTagsAsync(imagePath, callback) {
  callAliyunAPI(imagePath)
    .then(result => {
   const tags = result.errno === 0 ? result.tags : [];
     callback(tags);
   })
    .catch(error => callback([]));
}

function writeSceneAsync(paths) {
  const callback = tags => {
    await tags = fetchSceneTagsAsync(paths[i])
    writeToFile(tags);
  }
  
  paths.forEach(path => fetchSceneTagsAsync(path, callback));
}

function start() {
  const paths = loadPaths();
  writeSceneAsync(paths);
}

跑了一下,直接停摆了。嗯,不能一下把请求全发出去,加一个 Throttle:

fetchSceneTagsAsync(imagePath, callback) {
  callAliyunAPI(imagePath)
    .then(result => {
   const tags = result.errno === 0 ? result.tags : [];
     callback(tags);
   })
    .catch(error => callback([]));
}

function throttle(paths, callback) {
  if(paths.length === 0) return;
  
  const sub = paths.splice(0, 10);
  sub.forEach(path => fetchSceneTagsAsync(path, callback));
 setTimeout(() => throttle(paths, callback), 1000)
}

function writeSceneAsync(paths) {
  const callback = tags => {
    await tags = fetchSceneTagsAsync(paths[i])
    writeToFile(tags);
  }
  
  throttle(paths, callback)
}

function start() {
  const paths = loadPaths();
  writeSceneAsync(paths);
}

重新启动服务,观察了一下,大约每分钟处理 568 张图片,速度提升约 4 倍。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • node.js基于socket.io快速实现一个实时通讯应用

    node.js基于socket.io快速实现一个实时通讯应用

    这篇文章主要介绍了node.js基于socket.io快速实现一个实时通讯应用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-04-04
  • Async/Await替代Promise的6个理由

    Async/Await替代Promise的6个理由

    这篇文章主要介绍了Async/Await替代Promise的6个理由,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,,需要的朋友可以参考下
    2019-06-06
  • 使用nodejs中httpProxy代理时候出现404异常的解决方法

    使用nodejs中httpProxy代理时候出现404异常的解决方法

    下面小编就为大家带来一篇使用nodejs中httpProxy代理时候出现404异常的解决方法。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-08-08
  • 在Mac OS下使用Node.js的简单教程

    在Mac OS下使用Node.js的简单教程

    这篇文章主要介绍了在Mac OS下使用Node.js的简单教程,Node.js是让JavaScript应用运行于服务器端的框架,需要的朋友可以参考下
    2015-06-06
  • 初识Node.js

    初识Node.js

    本文给大家介绍的是node.js的初体验,从最简单的内容开始,慢慢的深入分析node.js。并附上一则很不错的文章《7天学会nodeJS》更加详细的向我们展示了node.js的学习步骤。
    2015-03-03
  • node.js中的fs.lchmodSync方法使用说明

    node.js中的fs.lchmodSync方法使用说明

    这篇文章主要介绍了node.js中的fs.lchmodSync方法使用说明,本文介绍了fs.lchmodSync的方法说明、语法、接收参数、使用实例和实现源码,需要的朋友可以参考下
    2014-12-12
  • node.js中的path.delimiter方法使用说明

    node.js中的path.delimiter方法使用说明

    这篇文章主要介绍了node.js中的path.delimiter方法使用说明,本文介绍了path.delimiter的方法说明、语法、使用实例和实现源码,需要的朋友可以参考下
    2014-12-12
  • Node.js 进程平滑离场剖析小结

    Node.js 进程平滑离场剖析小结

    这篇文章主要介绍了Node.js 进程平滑离场剖析小结,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-01-01
  • NodeJS使用七牛云存储上传文件的方法

    NodeJS使用七牛云存储上传文件的方法

    这篇文章主要介绍了NodeJS使用七牛云存储上传文件的方法,使用七牛云存储上传文件确认安装node和npm,具体服务器端的云存储操作方法大家参考下本文吧
    2017-07-07
  • Node.js的特点详解

    Node.js的特点详解

    本文主要对Node.js的特点进行详细介绍。具有很好的参考价值,下面跟着小编一起来看下吧
    2017-02-02

最新评论