浅谈Koa服务限流方法实践
最近接了一个需求，很简单，就是起一个server，收到请求时调用某个提供好的接口，然后把结果返回。因为这个接口的性能问题，同时在请求的不能超过特定数目，要在服务中进行限流。
限流的要求是，限制同时执行的数目，超出这个数目后要在一个队列中进行缓存。
koa 中间件不调用 next
最初的想法是在 koa 中间件中进行计数，超过6个时将next函数缓存下来。等正在进行中的任务结束时，调用next继续其他请求。
之后发现 koa 中间件中，不执行next函数请求并不会停下，而是不再调用之后的中间件，直接返回内容。
const Koa = require('koa');
const app = new Koa();
app.use((ctx, next) => {
console.log('middleware 1');
setTimeout(() => {
next();
}, 3000);
ctx.body = 'hello';
});
app.use((ctx, next) => {
console.log('middleware 2');
});
app.listen(8989);
以上代码首先在控制台打出 ‘middleware 1' => 浏览器收到 ‘hello' => 控制台打出 ‘middleware 2'。
这里还有一个要注意的地方，就是一个请求已经结束（finish）后，他的next方法还是可以继续调用，之后的middleware还是继续运行的（但是对ctx的修改不会生效，因为请求已经返回了）。同样，关闭的请求（close）也是同样的表现。
使用 await 让请求进行等待
延迟next函数执行不能达到目的。接下来自然想到的就是使用await让当前请求等待。await的函数返回一个Promise，我们将这个Promise中的resolve函数存储到队列中，延迟调用。
const Koa = require('koa');
const app = new Koa();
const queue = [];
app.use(async (ctx, next) => {
setTimeout(() => {
queue.shift()();
}, 3000);
await delay();
ctx.body = 'hello';
});
function delay() {
return new Promise((resolve, reject) => {
queue.push(resolve);
});
}
app.listen(8989);
上面这段代码，在delay函数中返回一个Promise，Promise的resolve函数存入队列中。设置定时3s后执行队列中的resolve函数，使请求继续执行。
针对路由进行限流，还是针对请求进行限流？
限流的基本原理实现后，下面一个问题就是限流代码该写在哪里？基本上，有两个位置：
针对接口进行限流
由于我们的需求中，限流是因为要请求接口的性能有限。所以我们可以单独针对这个请求进行限流：
async function requestSomeApi() {
// 如果已经超过了最大并发
if (counter > maxAllowedRequest) {
await delay();
}
counter++;
const result = await request('http://some.api');
counter--;
queue.shift()();
return result;
}
下面还有一个方便复用的版本。
async function limitWrapper(func, maxAllowedRequest) {
const queue = [];
const counter = 0;
return async function () {
if (counter > maxAllowedRequest) {
await new Promise((resolve, reject) => {
queue.push(resolve);
});
}
counter++;
const result = await func();
counter--;
queue.shift()();
return result;
}
}
针对路由进行限流
这种方式是写一个koa中间件，在中间件中进行限流：
async function limiter(ctx, next) => {
// 如果超过了最大并发数目
if (counter >= maxAllowedRequest) {
// 如果当前队列中已经过长
await new Promise((resolve, reject) => {
queue.push(resolve);
});
}
store.counter++;
await next();
store.counter--;
queue.shift()();
};
之后针对不同路由在router中使用这个中间件就好了：
router.use('/api', rateLimiter);
比较
实现了针对接口进行限流，觉得逻辑有些乱，于是改用了针对路由进行限流，一切运行的很完美。
直到我又接了个需求，是要请求三次这个接口返回三次请求的结果数组。现在问题来了，我们不能直接调用接口，因为要限流。也不能直接调用请求接口的函数因为我们的限流是以路由为单位的。那怎么办呢？我们只有请求这个路由了，自己请求自己。。。
需要注意的地方
监听close事件，将请求从队列中移出
已经存储在队列中的请求，有可能遇到用户取消的情况。前面说过koa中即使请求取消，之后的中间件还是会运行，也就是还会执行需要限流的接口，造成浪费。
可以监听close事件来达到这个目的，每个请求我们需要用hash值来标记：
ctx.res.on('close', () => {
const index = queue.findIndex(item => item.hash === hash);
if (index > -1) {
queue.splice(index, 1);
}
});
设置超时时间
为了防止用户等待过长时间，需要设置超时时间，这在koa中很容易实现：
const server = app.listen(config.port); server.timeout = DEFAULT_TIMEOUT;
当前队列已经过长
如果当前队列已经过长了，即使加入队列中也会超时。因此我们还需要处理队列过长的情况：
if (queue.length > maxAllowedRequest) {
ctx.body = 'error message';
return;
}
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要给大家介绍了关于mongoose中利用populate处理嵌套的方法，文中通过示例代码介绍的非常详细，对大家具有一的参考学习价值，需要的朋友们下面来一起看看吧。2017-05-05
基于Node.js + WebSocket打造即时聊天程序嗨聊
这篇文章主要介绍了基于Node.js + WebSocket打造即时聊天程序,有兴趣的可以了解一下。2016-11-11
这篇文章主要介绍了nodejs中模块定义方法,结合实例形式分析了nodejs模块的原理、常见模块及相应的定义方法,需要的朋友可以参考下2017-03-03
这篇文章主要介绍了koa-router源码学习小结，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-09-09
相信接触过编程的同学应该都了解，在访问任何网页的时候，会伴随着许多的事件，例如点击菜单，移动鼠标等等。那么node.js是如何处理的？下面通过这篇文章就来给大家详细的介绍下node.js中的事件处理机制，有需要的朋友们可以参考借鉴，下面来一起学习学习吧。2016-11-11
这篇文章主要介绍了Node.js API详解之 readline模块用法,结合实例形式详细分析了Node.js API中readline模块基本函数、功能、用法及操作注意事项,需要的朋友可以参考下2020-05-05
本篇文章主要给大家讲解了一下用NodeJS学习爬虫，并通过爬糗事百科来讲解用法和效果，一起学习下吧。2017-12-12
npm安装的全局包/工具不能使用,不是内部/外部命令的解决方法
这篇文章主要给大家介绍了关于npm安装的全局包/工具不能使用,不是内部/外部命令的解决方法,文中通过图文将解决的方法介绍的非常详细,需要的朋友可以参考下2023-03-03
使用node.js连接数据库MySQL 8时候,显示报错 ER_NOT_SUPPORTED_AUTH_MODE,本文就来介绍一下解决方法,感兴趣的可以了解一下2023-10-10
本文主要介绍了node.js解决客户端请求数据里面中文乱码的事件方法，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-12-12
最新评论