nginx线程池源码分析

更新时间：2015年08月18日 08:50:37 投稿：hebedich

虽然nginx的源码非常精致，但是不得不说开发nginx很有挑战性，越想更大程度上定制自己的模块，越需要对nginx的每个细节了解颇深。

周末看了nginx线程池部分的代码，顺手照抄了一遍，写成了自己的版本。实现上某些地方还是有差异的，不过基本结构全部摘抄。

　　在这里分享一下。如果你看懂了我的版本，也就证明你看懂了nginx的线程池。

　　本文只列出了关键数据结构和API，重在理解nginx线程池设计思路。完整代码在最后的链接里。

　　1.任务节点

typedef void (*CB_FUN)(void *);

//任务结构体
typedef struct task
{
  void    *argv; //任务函数的参数（任务执行结束前，要保证参数地址有效）
  CB_FUN    handler; //任务函数（返回值必须为0  非0值用作增加线程，和销毁线程池）
  struct task *next; //任务链指针
}zoey_task_t;

　　handler为函数指针，是实际的任务函数，argv为该函数的参数，next指向下一个任务。

　　2.任务队列

typedef struct task_queue
{
  zoey_task_t *head; //队列头
  zoey_task_t **tail;  //队列尾
  unsigned int maxtasknum; //最大任务限制
  unsigned int curtasknum; //当前任务数
}zoey_task_queue_t;

　　head为任务队列头指针，tail为任务队列尾指针，maxtasknum为队列最大任务数限制，curtasknum为队列当前任务数。

　　3.线程池

typedef struct threadpool
{
  pthread_mutex_t  mutex; //互斥锁
  pthread_cond_t   cond;  //条件锁
  zoey_task_queue_t    tasks;//任务队列

  unsigned int    threadnum; //线程数
  unsigned int    thread_stack_size; //线程堆栈大小

}zoey_threadpool_t;

　　mutex为互斥锁 cond为条件锁。mutex和cond共同保证线程池任务的互斥领取或者添加。

　　tasks指向任务队列。

　　threadnum为线程池的线程数

　　thread_stack_size为线程堆栈大小　

　　4.启动配置

//配置参数
typedef struct threadpool_conf
{
  unsigned int threadnum;  //线程数
  unsigned int thread_stack_size;//线程堆栈大小
  unsigned int maxtasknum;//最大任务限制
}zoey_threadpool_conf_t;

　　启动配置结构体是初始化线程池时的一些参数。

　　5.初始化线程池

　　首先检查参数是否合法，然后初始化mutex，cond，key（pthread_key_t）。key用来读写线程全局变量，此全局变量控制线程是否退出。

　　最后创建线程。

zoey_threadpool_t* zoey_threadpool_init(zoey_threadpool_conf_t *conf)
{
  zoey_threadpool_t *pool = NULL;
  int error_flag_mutex = 0;
  int error_flag_cond = 0;
  pthread_attr_t attr;
  do{
    if (z_conf_check(conf) == -1){ //检查参数是否合法
      break;
    }

    pool = (zoey_threadpool_t *)malloc(sizeof(zoey_threadpool_t));//申请线程池句柄
    if (pool == NULL){
      break;
    }

    //初始化线程池基本参数
    pool->threadnum = conf->threadnum;
    pool->thread_stack_size = conf->thread_stack_size;
    pool->tasks.maxtasknum = conf->maxtasknum;
    pool->tasks.curtasknum = 0;

    z_task_queue_init(&pool->tasks);
  
    if (z_thread_key_create() != 0){//创建一个pthread_key_t，用以访问线程全局变量。
      free(pool);
      break;
    }
    if (z_thread_mutex_create(&pool->mutex) != 0){ //初始化互斥锁
      z_thread_key_destroy();
      free(pool);
      break;
    }

    if (z_thread_cond_create(&pool->cond) != 0){ //初始化条件锁
      z_thread_key_destroy();
      z_thread_mutex_destroy(&pool->mutex);
      free(pool);
      break;
    }

    if (z_threadpool_create(pool) != 0){    //创建线程池
      z_thread_key_destroy();
      z_thread_mutex_destroy(&pool->mutex);
      z_thread_cond_destroy(&pool->cond);
      free(pool);
      break;
    }
    return pool;
  }while(0);

  return NULL;
}

　6.添加任务

　　首先申请一个任务节点，实例化后将节点加入任务队列，并将当前任务队列数++并通知其他进程有新任务。整个过程加锁。

int zoey_threadpool_add_task(zoey_threadpool_t *pool, CB_FUN handler, void* argv)
{
  zoey_task_t *task = NULL;
  //申请一个任务节点并赋值
  task = (zoey_task_t *)malloc(sizeof(zoey_task_t));
  if (task == NULL){
    return -1;
  }
  task->handler = handler;
  task->argv = argv;
  task->next = NULL;
  if (pthread_mutex_lock(&pool->mutex) != 0){ //加锁
    free(task);
    return -1;
  }
  do{

    if (pool->tasks.curtasknum >= pool->tasks.maxtasknum){//判断工作队列中的任务数是否达到限制
      break;
    }

    //将任务节点尾插到任务队列
    *(pool->tasks.tail) = task;
    pool->tasks.tail = &task->next;
    pool->tasks.curtasknum++;

    //通知阻塞的线程
    if (pthread_cond_signal(&pool->cond) != 0){
      break;
    }
    //解锁
    pthread_mutex_unlock(&pool->mutex);
    return 0;

  }while(0);
  pthread_mutex_unlock(&pool->mutex);
  free(task);
  return -1;

}

　7.销毁线程池

　　销毁线程池其实也是向任务队列添加任务，只不过添加的任务是让线程退出。z_threadpool_exit_cb函数会将lock置0后退出线程，lock为0表示此线程

　　已经退出，接着退出下一个线程。退出完线程释放所有资源。

void zoey_threadpool_destroy(zoey_threadpool_t *pool)
{
  unsigned int n = 0;
  volatile unsigned int lock;

  //z_threadpool_exit_cb函数会使对应线程退出
  for (; n < pool->threadnum; n++){
    lock = 1;
    if (zoey_threadpool_add_task(pool, z_threadpool_exit_cb, &lock) != 0){
      return;
    }
    while (lock){
      usleep(1);
    }
  }
  z_thread_mutex_destroy(&pool->mutex);
  z_thread_cond_destroy(&pool->cond);
  z_thread_key_destroy();
  free(pool);
}

　8.增加一个线程

　　很简单，再生成一个线程以及线程数++即可。加锁。

int zoey_thread_add(zoey_threadpool_t *pool)
{
  int ret = 0;
  if (pthread_mutex_lock(&pool->mutex) != 0){
    return -1;
  }
  ret = z_thread_add(pool);
  pthread_mutex_unlock(&pool->mutex);
  return ret;
}

　9.改变任务队列最大任务限制

　　当num=0时设置线程数为无限大。

void zoey_set_max_tasknum(zoey_threadpool_t *pool,unsigned int num)
{
  if (pthread_mutex_lock(&pool->mutex) != 0){
    return -1;
  }
  z_change_maxtask_num(pool, num); //改变最大任务限制
  pthread_mutex_unlock(&pool->mutex);
}

　　10.使用示例

int main()
{
  int array[10000] = {0};
  int i = 0;
  zoey_threadpool_conf_t conf = {5,0,5}; //实例化启动参数
  zoey_threadpool_t *pool = zoey_threadpool_init(&conf);//初始化线程池
  if (pool == NULL){
    return 0;
  }
  for (; i < 10000; i++){
    array[i] = i;
    if (i == 80){
      zoey_thread_add(pool); //增加线程
      zoey_thread_add(pool);
    }
    
    if (i == 100){
      zoey_set_max_tasknum(pool, 0); //改变最大任务数  0为不做上限
    }
    while(1){
      if (zoey_threadpool_add_task(pool, testfun, &array[i]) == 0){
        break;
      }
      printf("error in i = %d\n",i);
    
    }
  }
  zoey_threadpool_destroy(pool);

  while(1){
    sleep(5);
  }
  return 0;
}

　　11.源码

https://github.com/unlikewashface/zoey_threadpool.git

线程池可以发挥更多作用，比如可以把连接放到线程池里。nginx的异步加lua的协程是个非常好的组合，现在有了线程池后，线程池加协程将是另一个选择。总而言之，如果在保证性能的情况下，让nginx开发变得非常简单，这是非常利好的消息。

您可能感兴趣的文章:

nginx源码分析线程池详解

nginx try_files指令的实现示例
try_files用于指定文件的查找规则,可以配置多个规则,会按顺序执行查找规则,本文主要介绍了nginx try_files指令的实现示例,具有一定的参考价值,感兴趣的可以了解一下
2024-07-07
Nginx下配置pathinfo及ThinkPHP的URL Rewrite模式支持
这篇文章主要介绍了Nginx下配置pathinfo及ThinkPHP的URL Rewrite模式支持,使用Nginx运行ThinkPHP的必备配置,需要的朋友可以参考下
2015-07-07
nginx中proxy_pass各种用法详解
nginx中配置location代理转发规则的时候不同写法对应不同转发规则。本文就介绍几种常见的匹配情况，感兴趣的可以了解一下
2021-11-11
18个运维必知的Nginx代理缓存配置技巧(你都掌握了哪些呢)
这篇文章主要介绍了18个运维必知的Nginx代理缓存配置技巧(你都掌握了哪些呢)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-09-09
Nginx显示500错误的原因以及解决方法
nginx出现500错误,不会显示具体错误信息,要到日志文件里面去看,下面这篇文章主要给大家介绍了关于Nginx显示500错误的原因以及解决方法的相关资料,需要的朋友可以参考下
2022-12-12
nginx共享内存的机制详解
在nginx的进程模型下，类似流量统计、流量控制、数据共享、等需要多个工作进程共同配合完成任务，共享内存是一个重要的进程通讯的方案，本文主要介绍了nginx共享内存的机制详解，感兴趣的可以了解一下
2022-03-03
nginx如何指向本地路径及500错误解决方法
这篇文章主要为大家介绍了nginx如何指向本地路径及500错误解决方法，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2023-03-03
基于nginx获取代理服务ip以及客户端真实ip详解
最近在研究nginx中如何获取真实客户端IP的方法,下面这篇文章主要给大家介绍了基于nginx获取代理服务ip以及客户端真实ip的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
2022-07-07
如何让你的Nginx支持分布式追踪详解
分布式追踪系统(Tracing)旨在分析请求背后调用了哪些服务,服务的调用顺序、耗时、错误原因等,下面这篇文章主要给大家介绍了关于如何让你的Nginx支持分布式追踪的相关资料,需要的朋友可以参考下
2022-07-07
浅谈nginx基于请求头或请求内容的防护
本文主要介绍了浅谈nginx基于请求头或请求内容的防护,通常涉及到对请求进行过滤,检查其是否包含某些特定的值或模式,感兴趣的可以了解一下
2023-10-10

nginx线程池源码分析

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具