Go使用协程批量获取数据加快接口返回速度

 更新时间:2023年02月07日 11:08:21   作者:HappyTeemo  
这篇文章主要介绍了Go使用协程批量获取数据加快接口返回速度,使用Go语言后,可以并发获取,极大提升效率,需要的朋友可以参考下

推荐go学习书籍,点击链接跳转京东官方商城购买。

服务端经常需要返回一个列表,里面包含很多用户数据,常规做法当然是遍历然后读缓存。

使用Go语言后,可以并发获取,极大提升效率。

使用channel

Copy Highlighter-hljs

package main

import (
   "fmt"
   "time"
)

func add2(a, b int, ch chan int) {
   c := a + b
   fmt.Printf("%d + %d = %d\n", a, b, c)
   ch <- 1 //执行完了就写一条表示自己完成了
}

func main() {
   start := time.Now()
   chs := make([]chan int, 10)
   for i := 0; i < 10; i++ {
      chs[i] = make(chan int)
      go add2(1, i, chs[i]) //分配了10个协程出去了
   }
   for _, ch := range chs {
      <-ch //循环等待,要每个完成才能继续,不然就等待
   }
   end := time.Now()
   consume := end.Sub(start).Seconds()
   fmt.Println("程序执行耗时(s):", consume)
}

在每个协程的 add() 函数业务逻辑完成后,我们通过 ch <- 1 语句向对应的通道中发送一个数据。

在所有的协程启动完成后,我们再通过 <-ch 语句从通道切片 chs 中依次接收数据(不对结果做任何处理,相当于写入通道的数据只是个标识而已,表示这个通道所属的协程逻辑执行完毕).

直到所有通道数据接收完毕,然后打印主程序耗时并退出。

使用WaitGroup

  • Add:WaitGroup 类型有一个计数器,默认值是0,我们可以通过 Add 方法来增加这个计数器的值,通常我们可以通过个方法来标记需要等待的子协程数量;
  • Done:当某个子协程执行完毕后,可以通过 Done 方法标记已完成,该方法会将所属 WaitGroup 类型实例计数器值减一,通常可以通过 defer 语句来调用它;
  • Wait:Wait 方法的作用是阻塞当前协程,直到对应 WaitGroup 类型实例的计数器值归零,如果在该方法被调用的时候,对应计数器的值已经是 0,那么它将不会做任何事情
package main

import (
   "fmt"
   "sync"
)

func addNum(a, b int, deferFunc func()) {
   defer func() {
      deferFunc()
   }()
   c := a + b
   fmt.Printf("%d + %d = %d\n", a, b, c)
}

func main() {
   var wg sync.WaitGroup
   wg.Add(10) //等于发了10个令牌
   for i := 0; i < 10; i++ {
      go addNum(i, 1, wg.Done) //每次执行都消耗令牌
   }
   wg.Wait() //等待令牌消耗完
}

需要注意的是,该类型计数器不能小于0,否则会抛出如下 panic:

panic: sync: negative WaitGroup counter

应用到实践

func GetManyBase(userIds []int64) []UserBase {
   userCaches := make([]UserBase, len(userIds))

   var wg sync.WaitGroup
   for index, userId := range userIds {
      wg.Add(1)
      go func(index int, userId int64, userCaches []UserBase) {
         userCaches[index] = NewUserCache(userId).GetBase() 
         wg.Done()
      }(index, userId, userCaches)
   }
   wg.Wait()

   return userCaches
}

这种写法有两个问题:
1.并发肯定带来乱序,所以要考虑需要排序的业务场景。
2.map是线程不安全的,并发读写会panic。

优化一下:

func GetManyBase(userIds []int64) []UserBase {
	userCaches := make([]UserBase, len(userIds))

	var scene sync.Map

	var wg sync.WaitGroup
	for index, userId := range userIds {
		wg.Add(1)
		go func(index int, userId int64, userCaches []UserBase) {
			scene.Store(userId, NewUserCache(userId).GetBase())
			wg.Done()
		}(index, userId, userCaches)
	}
	wg.Wait()

	i := 0
	for _, userId := range userIds {
		if value, ok := scene.Load(userId); ok {
			userCaches[i] = value.(UserBase)
		}
		i++
	}

	return userCaches
}

为什么不直接上锁?

  • 因为经过我的测试,会很慢,没有sync.Map优化的好。
  • 这样可以保证顺序。

到此这篇关于Go使用协程批量获取数据,加快接口返回速度的文章就介绍到这了,更多相关Go使用协程批量获取数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Go语言中的iota关键字的使用

    Go语言中的iota关键字的使用

    这篇文章主要为大家详细介绍了Go语言中的iota关键字的相关使用,文中的示例代码讲解详细,对我们深入了解Go语言有一定的帮助,需要的可以参考下
    2023-08-08
  • golang interface{}类型转换的实现示例

    golang interface{}类型转换的实现示例

    在Go语言中,类型转换可以通过断言、显式、隐式和强制四种方式实现,针对interface{}类型转换为float32或float64,需要使用type断言或reflect包处理,感兴趣的可以了解一下
    2024-10-10
  • golang有用的库及工具 之 zap.Logger包的使用指南

    golang有用的库及工具 之 zap.Logger包的使用指南

    这篇文章主要介绍了golang有用的库及工具 之 zap.Logger包的使用指南,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12
  • Go数据结构之HeapMap实现指定Key删除堆

    Go数据结构之HeapMap实现指定Key删除堆

    这篇文章主要给大家介绍了Go语言数据结构之HeapMap实现指定Key删除堆,通过使用Go语言中的container/heap包,我们可以轻松地实现一个优先级队列,文中有详细的代码示例讲解,需要的朋友可以参考下
    2023-07-07
  • golang使用jaeger进行链路追踪

    golang使用jaeger进行链路追踪

    链路追踪是指在分布式系统中,将一次请求的处理过程进行记录并聚合展示的一种方法,目的是将一次分布式请求的调用情况集中在一处展示,本文将介绍golang如何使用jaeger进行链路追踪,需要的朋友可以参考下
    2024-06-06
  • 在Go语言项目中使用Zap日志库的操作过程

    在Go语言项目中使用Zap日志库的操作过程

    本文将先介绍Go语言原生的日志库的使用,然后详细介绍非常流行的Uber开源的zap日志库,同时会介绍如何搭配·Lumberjack·实现日志的切割和归档,对Go使用Zap日志库相关知识感兴趣的朋友一起看看吧
    2024-03-03
  • Go语言设计模式之实现观察者模式解决代码臃肿

    Go语言设计模式之实现观察者模式解决代码臃肿

    今天学习一下用 Go 实现观察者模式,观察者模式主要是用来实现事件驱动编程。事件驱动编程的应用还是挺广的,除了我们都知道的能够用来解耦:用户修改密码后,给用户发短信进行风险提示之类的典型场景,在微服务架构实现最终一致性、实现事件源A + ES
    2022-08-08
  • vscode 通过Go:Install/Update Tools命令安装失败的问题解决

    vscode 通过Go:Install/Update Tools命令安装失败的问题解决

    本文介绍了在VSCode开发环境中通过Go:Install/UpdateTools命令安装工具时遇到网络问题的解决方法,具有一定的参考价值,感兴趣的可以了解一下
    2024-12-12
  • Go语言中的方法、接口和嵌入类型详解

    Go语言中的方法、接口和嵌入类型详解

    这篇文章主要介绍了Go语言中的方法、接口和嵌入类型详解,本文分别对它们做了详细讲解,需要的朋友可以参考下
    2014-10-10
  • 如何使用Go语言实现基于泛型的Jaccard相似度算法

    如何使用Go语言实现基于泛型的Jaccard相似度算法

    这篇文章主要介绍了如何使用Go语言实现基于泛型的Jaccard相似度算法,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧
    2024-08-08

最新评论