Golang根据job数量动态控制每秒协程的最大创建数量方法详解

 更新时间:2024年01月19日 08:48:27   作者:Golang在发光  
这篇文章主要介绍了Golang根据job数量动态控制每秒协程的最大创建数量方法

需求

第三方的接口,限制接口请求的QPS,每秒5次

需要控制job「访问接口」的次数,每秒不能同时超过5次,包括 进行中的任务、刚启动的任务

使用限流器来控制任务的启动频率

要确保单位时间内(例如每秒)运行的任务数量不超过特定的上限(如5个任务),并且在任务执行完成得很快时,考虑已完成的任务和正在执行的任务作为正在运行的任务总数,可以使用限流器来控制任务的启动频率,并结合使用信号量来管理同时运行的任务数量。

具体来说,使用一个信号量来限制同时进行的任务数量,并且在任务完成时,仅在下一秒钟允许新的任务开始,以确保即使某些任务快速完成,也不会在同一秒钟内启动超过限制数量的任务

package main
import (
    "context"
    "fmt"
    "math/rand"
    "sync"
    "sync/atomic"
    "time"
    "golang.org/x/time/rate"
)
func RateLimit() {
    const maxJobsPerSecond = 5
    const numJobs = 22
    var wg sync.WaitGroup
    // 计数器
    var runningJobs int32 // 当前正在执行的任务数量
    var startedJobs int32 // 启动后的任务数量
    var finishedJobs int32 // 刚完成的任务数量
    limiter := rate.NewLimiter(rate.Every(time.Second/time.Duration(maxJobsPerSecond)), maxJobsPerSecond)
    semaphore := make(chan struct{}, maxJobsPerSecond)
    for i := 1; i <= numJobs; i++ {
        wg.Add(1)
        go func(jobID int) {
            defer wg.Done()
            limiter.Wait(context.Background()) // 等待限流器允许进行下一个任务
            semaphore <- struct{}{} // 获取信号量
            atomic.AddInt32(&startedJobs, 1)
            atomic.AddInt32(&runningJobs, 1)
            executeJob(jobID) // 执行任务
            atomic.AddInt32(&finishedJobs, 1)
            atomic.AddInt32(&runningJobs, -1)
            <-time.After(time.Second) // 等待一秒钟后释放信号量
            <-semaphore
            // 打印当前状态
            printStatus(&runningJobs, &startedJobs, &finishedJobs)
        }(i)
    }
    wg.Wait()
    fmt.Println("所有工作完成")
}

注意事项

  • 限流器rate.NewLimiter用于控制任务启动的频率,以确保每秒不超过maxJobsPerSecond个任务开始执行。
  • 使用信号量semaphore来控制同时进行的任务数量。
  • 为了确保在任何一秒内同时进行的任务数量不超过限制,在任务完成后等待一秒钟,然后再释放信号量。这样做可以保证即使任务很快完成,也不会立即启动新的任务。

这种实现方式确保了即使任务执行得很快,每秒钟启动的新任务数量也不会超过限制,并且同时考虑了正在执行和刚刚完成的任务。

动态创建协程

  • 协程的启动是动态的。在代码中,每个任务对应于一个动态创建的协程。这些协程是在循环中根据任务数量(numJobs)动态生成的。
  • 具体来说,每当有一个新的任务需要执行时,都会创建一个新的协程来处理这个任务。这是通过在main函数的循环中调用go关键字实现的。这个过程在每次循环迭代中发生,从而为每个任务动态创建一个新的协程

由于使用了限流器(rate.Limiter),这些协程不是一次性全部创建,而是根据限流器允许的速率逐个创建。每个协程在开始执行任务之前会等待限流器的许可,以此确保每秒启动的任务数量不超过设定的最大值

func executeJob(jobID int) {
  startTime := time.Now() // 记录任务开始时间
    // 模拟任务执行时间
    fmt.Printf("%v Job %d started\n",time.Now().Format("2006-01-02 15:04:05.000"), jobID)
  // 初始化随机数种子
  rand.Seed(time.Now().UnixNano())
  // 随机生成一个时间间隔(例如,1到5000毫秒之间)
  min := 1
  max := 5000
  duration := time.Duration(rand.Intn(max-min+1)+min) * time.Millisecond
  time.Sleep(duration)
  durationCost := time.Since(startTime) // 计算任务耗时
    fmt.Printf("%v Job %d finished Cost:%v\n", time.Now().Format("2006-01-02 15:04:05.000"),jobID, durationCost)
}
func printStatus(runningJobs, startedJobs, finishedJobs *int32) {
    fmt.Printf("Current status - Running: %d, Started: %d, Finished: %d\n",
        atomic.LoadInt32(runningJobs),
        atomic.LoadInt32(startedJobs),
        atomic.LoadInt32(finishedJobs))
}

可以在代码中添加额外的逻辑来跟踪和打印正在执行、进行中、刚启动和刚完成的任务数量。使用原子操作(来自sync/atomic包)来确保在并发环境下对这些计数器的操作是安全的。

在这个示例中:

  • 使用sync/atomic包中的AddInt32和LoadInt32来安全地增加和读取计数器的值。

  • 在每个任务开始时,增加startedJobs和runningJobs计数器。

  • 在每个任务完成时,增加finishedJobs计数器,并减少runningJobs计数器。

  • 在任务完成后和释放信号量前,打印当前的任务状态。

注意事项

  • 这种方法可以帮助我们跟踪不同状态下的任务数量。

  • 使用原子操作确保在并发环境中对计数器的读写是安全的。

  • printStatus函数在每个任务的结束时被调用,以打印当前的任务状态

以上就是Golang根据job数量动态控制每秒协程的最大创建数量方法详解的详细内容,更多关于Golang job控制协程创建数的资料请关注脚本之家其它相关文章!

相关文章

  • Golang中channel使用的一些小技巧

    Golang中channel使用的一些小技巧

    这篇文章主要介绍了Golang中channel使用的一些小技巧,本文讲解了关闭2次、读取的时候channel提前关闭了、向已经关闭的channel写数据等技巧及这实例代码,需要的朋友可以参考下
    2015-07-07
  • golang与pgsql交互的实现

    golang与pgsql交互的实现

    本文主要介绍了golang与pgsql交互的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-03-03
  • golang反射机制的用法详解

    golang反射机制的用法详解

    Golang 作为静态类型的编译型语言,虽然在设计上倾向于简洁和高效,但也内置了强大的反射机制,本文将深入讲解 Golang 的反射机制,帮助大家更好地理解和运用这一强大的特性,需要的朋友可以参考下
    2023-12-12
  • Golang中基于HTTP协议的网络服务

    Golang中基于HTTP协议的网络服务

    HTTP协议是基于TCP/IP协议栈的,并且它也是一个面向普通文本的协议。这篇文章主要详细介绍了Golang中基于HTTP协议的网络服务,感兴趣的小伙伴可以借鉴一下
    2023-04-04
  • 一文带你掌握Go语言并发模式中的Context的上下文管理

    一文带你掌握Go语言并发模式中的Context的上下文管理

    在 Go 的日常开发中,Context 上下文对象无处不在,无论是处理网络请求、数据库操作还是调用 RPC 等场景,那你真的熟悉它的正确用法吗,随着本文一探究竟吧
    2023-05-05
  • go语言操作之nacos配置中心

    go语言操作之nacos配置中心

    这篇文章主要介绍了go语言操作之nacos配置中心,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-06-06
  • Golang中Json的序列化和反序列化的使用

    Golang中Json的序列化和反序列化的使用

    本文主要介绍了Golang中Json的序列化和反序列化的使用,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-04-04
  • 解决Golang并发工具Singleflight的问题

    解决Golang并发工具Singleflight的问题

    前段时间在一个项目里使用到了分布式锁进行共享资源的访问限制,后来了解到Golang里还能够使用singleflight对共享资源的访问做限制,于是利用空余时间了解,将知识沉淀下来,并做分享
    2022-05-05
  • 分析Go语言中CSP并发模型与Goroutine的基本使用

    分析Go语言中CSP并发模型与Goroutine的基本使用

    我们都知道并发是提升资源利用率最基础的手段,尤其是当今大数据时代,流量对于一家互联网企业的重要性不言而喻。串流显然是不行的,尤其是对于web后端这种流量的直接载体。并发是一定的,问题在于怎么执行并发。常见的并发方式有三种,分别是多进程、多线程和协程
    2021-06-06
  • golang数组-----寻找数组中缺失的整数方法

    golang数组-----寻找数组中缺失的整数方法

    这篇文章主要介绍了golang数组-----寻找数组中缺失的整数方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12

最新评论