用NODE.JS中的流编写工具是要注意的事项
Node.js中的流十分强大，它对处理潜在的大文件提供了支持，也抽象了一些场景下的数据处理和传递。正因为它如此好用，所以在实战中我们常常基于它来编写一些工具 函数/库 ，但往往又由于自己对流的某些特性的疏忽，导致写出的 函数/库 在一些情况会达不到想要的效果，或者埋下一些隐藏的地雷。本文将会提供两个在编写基于流的工具时，私以为有些用的两个tips。
一，警惕EVENTEMITTER内存泄露
在一个可能被多次调用的函数中，如果需要给流添加事件监听器来执行某些操作。那么则需要警惕添加监听器而导致的内存泄露：
'use strict';
const fs = require('fs');
const co = require('co');
function getSomeDataFromStream (stream) {
let data = stream.read();
if (data) return Promise.resolve(data);
if (!stream.readable) return Promise.resolve(null);
return new Promise((resolve, reject) => {
stream.once('readable', () => resolve(stream.read()));
stream.on('error', reject);
stream.on('end', resolve);
})
}
let stream = fs.createReadStream('/Path/to/a/big/file');
co(function *() {
let chunk;
while ((chunk = yield getSomeDataFromStream(stream)) !== null) {
console.log(chunk);
}
}).catch(console.error);
在上述代码中，getSomeDataFromStream函数会在通过监听error事件和end事件，来在流报错或没有数据时，完成这个Promise。然而在执行代码时，我们很快就会在控制台中看到报警信息：(node) warning: possible EventEmitter memory leak detected. 11 error listeners added. Use emitter.setMaxListeners() to increase limit.，因为我们在每次调用该函数时，都为传入的流添加了一个额外的error事件监听器和end事件监听器。为了避免这种潜在的内存泄露，我们要确保每次函数执行完毕后，清除所有此次调用添加的额外监听器，保持函数无污染：
function getSomeDataFromStream (stream) {
let data = stream.read();
if (data) return Promise.resolve(data);
if (!stream.readable) return Promise.resolve(null);
return new Promise((resolve, reject) => {
stream.once('readable', onData);
stream.on('error', onError);
stream.on('end', done);
function onData () {
done();
resolve(stream.read());
}
function onError (err) {
done();
reject(err);
}
function done () {
stream.removeListener('readable', onData);
stream.removeListener('error', onError);
stream.removeListener('end', done);
}
})
}
二，保证工具函数的回调在处理完毕数据后才被调用
工具函数往往会对外提供一个回调函数参数，待处理完流中的所有数据后，带着指定值触发，通常的做法是将回调函数的调用挂在流的end事件中，但如果处理函数是耗时的异步操作，回调函数则可能在所有数据处理完毕前被调用：
'use strict';
const fs = require('fs');
let stream = fs.createReadStream('/Path/to/a/big/file');
function processSomeData (stream, callback) {
stream.on('data', (data) => {
// 对数据进行一些异步耗时操作
setTimeout(() => console.log(data), 2000);
});
stream.on('end', () => {
// ...
callback()
})
}
processSomeData(stream, () => console.log('end'));
以上的代码callback回调可能会在数据并未被全部处理时就被调用，因为流的end事件的触发时机仅仅是在流中的数据被读完时。所以我们需要额外地对数据是否已处理完进行检查：
function processSomeData (stream, callback) {
let count = 0;
let finished = 0;
let isEnd = false;
stream.on('data', (data) => {
count++;
// 对数据进行一些异步耗时操作
setTimeout(() => {
console.log(data);
finished++;
check();
}, 2000);
});
stream.on('end', () => {
isEnd = true;
// ...
check();
})
function check () {
if (count === finished && isEnd) callback()
}
}
这样一来，回调便会在所有数据都处理完毕后触发了。
相关文章
这篇文章主要为大家介绍了NodeJS通过魔术封包唤醒局域网计算机代码实例，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-06-06
Node.js 中,服务器的创建与管理是非常重要的内容,Node.js 的非阻塞 I/O 特性使得它特别适合处理高并发的请求,本文将介绍一些与 Node.js 服务器相关的基本概念,包括 HTTP 服务器、请求和响应、路由、以及如何处理常见的服务器任务,感兴趣的朋友一起看看吧2025-04-04
本文主要介绍了Node.js前后端交互实现用户登陆的实践，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-12-12
这篇文章主要为大家详细介绍了electron如何拦截网络请求并处理响应,文中的示例代码讲解详细,具有一定的借鉴价值,感兴趣的小伙伴可以跟随小编一起学习一下2023-12-12
详解node Async/Await 更好的异步编程解决方案
这篇文章主要介绍了详解Async/Await 更好的异步编程解决方案,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-05-05
这篇文章主要介绍了node.js中间件有哪些类型，对中间件感兴趣的同学，可以参考下2021-04-04
这篇文章主要介绍了如何从头实现一个node.js的koa框架，koa.js是最流行的node.js后端框架之一，有很多网站都使用koa进行开发，同时社区也涌现出了一大批基于koa封装的企业级框架。,需要的朋友可以参考下2019-06-06
使用Node.js find-up在父目录中高效寻找文件与目录
find-up 是一个小巧但功能强大的 Node.js 包,它能帮助我们实现这一需求,本文将深入探究如何使用 find-up 进行有效搜索,并结合丰富的代码演示帮助大家快速掌握其用法,需要的朋友可以参考下2024-05-05
node.js提供了一个Buffer对象来提供对二进制数据的操作，Buffer 类的实例类似于整数数组，但 Buffer 的大小是固定的、且在 V8 堆外分配物理内存。本文给大家介绍Node.js中的Buffer对象及创建方式，感兴趣的朋友一起看看吧2022-01-01
node.js(expree.js )模拟手机验证码登录功能
这篇文章主要介绍了node.js(expree.js )模拟手机验证码功能及登录功能,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧2024-01-01
最新评论