使用cluster 将自己的Node服务器扩展为多线程服务器

 更新时间:2014年11月10日 11:15:36   投稿:hebedich  
nodejs在v0.6.x之后 增加了一个模块 cluster 用于实现多进程,利用child_process模块来创建和管理进程,增加程序在多核CPU机器上的性能表现。本文将介绍利用cluster模块创建的多线程的问题。

用nodejs的朋友都有了解,node是单线程的,也就是说跑在8核CPU上,只能使用一个核的算力。
单线程一直是node的一个诟病,但随着0.6版本中引入cluster之后,这个情况则得到了改变,开发人员可以依靠cluster很轻松的将自己的Node服务器扩展为多线程服务器了。

什么是Cluster

cluster是node提供的一个多线程库,用户可以使用它来创建多个线程,线程之间共享一个监听端口,当有外部请求这个端口时,cluster会将请求转发到随机线程里。因为每个node线程都会占用几十兆的内存,所以不能像php那样对每个请求创建一个线程,一般来说创建的线程数最多都不会超过cpu的核心数量。

复制代码 代码如下:

var cluster = require('cluster');
var http = require('http');
var numCPUs = require('os').cpus().length;

if (cluster.isMaster) {
  // Fork workers.
  for (var i = 0; i < numCPUs; i++) {
    cluster.fork();
  }

  cluster.on('exit', function(worker, code, signal) {
    console.log('worker ' + worker.process.pid + ' died');
  });
} else {
  // Workers can share any TCP connection
  // In this case its a HTTP server
  http.createServer(function(req, res) {
    res.writeHead(200);
    res.end("hello world\n");
  }).listen(8000);
}

如以上代码所示,程序运行时cluster.isMaster会被设置为true,当调用cluster.fork()之后,程序会创建一个线程,并重新运行,这时cluster.isMaster就被设置为false了。我们就主要通过这个变量来判断当前线程是不是子线程的。

还可以注意到,每个子线程被创建之后,都会监听8000端口而不会引起冲突,这就是cluster共享端口的功能了。

线程之间的通信

当线程被创建之后,他们彼此之间是没有共享内存或者数据的。所有的数据交换只能通过worker.send和worker.on('message',handler)在主线程里处理,下面列举一个广播系统的实例。

复制代码 代码如下:

var cluster = require('cluster');
var http = require('http');
var numCPUs = require('os').cpus().length;

if (cluster.isMaster) {

  var workers=[];
  //新建worker
  function newWorker(){
    var worker=cluster.fork();

    //监听信息,如果type为broadcast的话,则确定为广播
    worker.on('message', function(msg) {
      if(msg.type=='broadcast'){
        var event=msg.event;
        //向所有worker发送此条广播
        workers.forEach(function(worker){
          worker.send(event);
        })
      }
    });
    return worker;
  }

  for (var i = 0; i < numCPUs; i++) {
    workers.push(newWorker());
  }

    cluster.on('online',function(worker){
        console.log('worker %d is online',worker.id);
    })
} else {
  var worker=cluster.worker;

  //广播就是发送一个type为broadcast的信息,event就是广播内容
  worker.broadcast=function(event){
    worker.send({
      type:'broadcast',
      event:event
    });
  }

  //这里用worker.on貌似不能监听到返回的信息
  process.on('message',function(event){
    console.log('worker: '+worker.id+' recived event from '+event.workerId);
  })

  //发送广播
  worker.broadcast({
    message:'online',
    workerId:worker.id
  })
}

需要注意的问题

在上面也提到,线程之间是不能共享数据的,所有的数据交换只能通过线程之间的通信来交换。而且所交换的数据都是可序列化的,所以函数,文件描述符和HttpResponse之类的东西都不能传递。

如果使用cluster,则需要在程序设计的时候考虑到数据交换的问题,我自己的做法就是将类似session的这些数据都存放在redis里,每个线程都做好存取的工作,所有的数据都不放在node内存里。

最后一点,cluster目前还被Node官方标记为Experimental状态,api在将来也许会改变。

相关文章

  • 你应该知道的几类npm依赖包管理详解

    你应该知道的几类npm依赖包管理详解

    npm 是node.js 里的包管理器,是一个命令行工具,下面这篇文章主要给大家介绍了关于你应该知道的几类npm依赖包管理,文中通过示例代码介绍的非常详细,需要的朋友可以参考借鉴,下面随着小编来一起学习学习吧。
    2017-10-10
  • Mongoose中document与object的区别示例详解

    Mongoose中document与object的区别示例详解

    这篇文章主要给大家介绍了关于Mongoose中document与object区别的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考借鉴,下面随着小编来一起学习学习吧。
    2017-09-09
  • 如何使用Node.js爬取任意网页资源并输出PDF文件到本地

    如何使用Node.js爬取任意网页资源并输出PDF文件到本地

    这篇文章主要介绍了使用Node.js爬取任意网页资源并输出高质量PDF文件到本地,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,下面小编就来和大家一起学习吧
    2019-06-06
  • nodejs入门教程四:URL相关模块用法分析

    nodejs入门教程四:URL相关模块用法分析

    这篇文章主要介绍了nodejs入门教程四之URL相关模块用法,较为详细的分析了URL相关模块功能、方法与使用技巧,需要的朋友可以参考下
    2017-04-04
  • 详解axios在node.js中的post使用

    详解axios在node.js中的post使用

    最近因为工作的原因在学习使用网络请求库,因为这个项目用的是Promise,所以就选择了axios,下面这篇文章主要给大家介绍了关于axios在node.js中的post使用的相关资料,文中介绍的非常详细,需要的朋友可以参考借鉴,下面来一起学习学习吧。
    2017-04-04
  • nodejs实现发出蜂鸣声音(系统报警声)的方法

    nodejs实现发出蜂鸣声音(系统报警声)的方法

    这篇文章主要介绍了nodejs实现发出蜂鸣声音(系统报警声)的方法,结合实例形式分析了nodejs发出蜂鸣声的原理及具体应用方法,需要的朋友可以参考下
    2017-01-01
  • 轻松创建nodejs服务器(7):阻塞操作的实现

    轻松创建nodejs服务器(7):阻塞操作的实现

    这篇文章主要介绍了轻松创建nodejs服务器(7):阻塞操作的实现,本文先是组出了代码,然后对代码一一分析,需要的朋友可以参考下
    2014-12-12
  • NodeJS学习笔记之网络编程

    NodeJS学习笔记之网络编程

    Node.js采用了Google Chrome浏览器的V8引擎,性能很好,同时还提供了很多系统级的API,如文件操作、网络编程等。Node.js则是一个全面的后台运行时,为Javascript提供了其他语言能够实现的许多功能。今天我们来看下Nodejs的网络编程
    2014-08-08
  • Node.js实现链式回调

    Node.js实现链式回调

    这篇文章介绍了Node.js实现链式回调的方法,文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-07-07
  • 解决npm i 报错以及python安装卡住的问题

    解决npm i 报错以及python安装卡住的问题

    这篇文章主要介绍了解决npm i 报错以及python安装卡住的问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-10-10

最新评论