Go Map并发冲突预防与解决
背景
关于 Go 语言的 Map，有两个需要注意的特性：
- Map 是并发读写不安全的，这是出于性能的考虑；
- Map 并发读写导致的错误，无法使用
recover捕获。
后者意味着，只有出现并发读写的问题，服务就会挂掉。
这两个特性可能大家都知道，可即使有这个共识，我还是见过这个问题导致的事故。
事故的大致情况是，一个人封装了map的读写，没有使用锁。另一个人开协程读写 map。而测试环境请求量小，不一定会导致崩溃，于是，这个问题就留到生产环境才出现了。
除了靠开发者自觉和 code review，还能怎么预防这种情况呢？我觉得在单元测试加入并行测试也很重要。
并行单元测试
单元测试默认不是并发的，比如下面的单测，是可以通过的：
func TestConcurrent(t *testing.T) {
var m = map[string]int{}
// 写 map
t.Run("write", func(t *testing.T) {
for i := 0; i < 10000; i++ {
m["a"] = 1
}
})
// 读 map
t.Run("read", func(t *testing.T) {
for i := 0; i < 10000; i++ {
_ = m["a"]
}
})
}
但是我们的期望是，上面的单测不通过，该如何解决呢？
testing.T 有一个 Parallel 方法，它表示当前测试会和其他测试并行运行。 如果参数有-test.count或-test.cpu，一个测试可能运行多次，同个测试的多个运行实例，不会并行运行。
我们给上面的单测，加上t.Parallel():
func TestConcurrent(t *testing.T) {
var m = map[string]int{}
t.Run("write", func(t *testing.T) {
// 加上并行
t.Parallel()
for i := 0; i < 10000; i++ {
m["a"] = 1
}
})
t.Run("read", func(t *testing.T) {
// 加上并行
t.Parallel()
for i := 0; i < 10000; i++ {
_ = m["a"]
}
})
}
这次执行就会报错：
fatal error: concurrent map read and map write
支持并发的 Map
让 Map 支持并发读写并不麻烦，常见的做法有：
- 操作 map 的时候，加上读写锁
sync.RWMutex； - 使用 sync.Map。
sync.RWMutex 大家用得可能比较多。这里简单给个demo。
sync.RWMutex
我们给上面的单测加上锁，这次运行就能通过了。
func TestConcurrent(t *testing.T) {
var m = map[string]int{}
// 定义锁，零值就可以使用
var mu sync.RWMutex
t.Run("write", func(t *testing.T) {
t.Parallel()
for i := 0; i < 10000; i++ {
// 锁
mu.Lock()
m["a"] = 1
// 解锁
mu.Unlock()
}
})
t.Run("read", func(t *testing.T) {
t.Parallel()
for i := 0; i < 10000; i++ {
// 锁
mu.Lock()
_ = m["a"]
// 解锁
mu.Unlock()
}
})
}
本文的重点介绍一下Go标准库自带的，支持并发读写的 map：sync.Map。
sync.Map
sync.Map 就是线程安全版的 map[interface{}]interface{}，零值可以直接使用，值不能复制。它主要用于以下场景：
- 当同一个 key 的值，写少读多的时候；
- 但多个 goroutines 读写或修改一系列不同的key的时候。
上面两种场景中，比起带Mutex(或RWMutex)的map，sync.Map 会大大减少锁的竞争。
sync.Map 提供的方法不多，这里列出一些。注意的是，any 是 go 1.18 中 interface{}的别名。
Store，设置 key-value。
func (m *Map) Store(key, value any)
Load, 根据 key 读取 value。
func (m *Map) Load(key any) (value any, ok bool)
Delete，删除某个key。
func (m *Map) Delete(key any)
Range，遍历所有key, 如果f返回false，会停止遍历。
func (m *Map) Range(f func(key, value any) bool)
还有 LoadAndDelete（读后删除）、LoadOrStore（读key，不存在时设置）。
我们给上面的单测，使用sync.Map，测试也可以通过。
func TestConcurrent(t *testing.T) {
// 可以使用零值
var m sync.Map
t.Run("write", func(t *testing.T) {
t.Parallel()
for i := 0; i < 10000; i++ {
// 写
m.Store("a", 1)
}
})
t.Run("read", func(t *testing.T) {
t.Parallel()
for i := 0; i < 10000; i++ {
// 读
v, ok := m.Load("a")
if ok {
_ = v.(int)
}
}
})
}
参考
以上就是Go Map并发冲突预防与解决的详细内容，更多关于Go Map并发冲突的资料请关注脚本之家其它相关文章！
相关文章
这篇文章主要介绍了Go基础教程系列之回调函数和闭包详解,需要的朋友可以参考下2022-04-04
go引入自建包名报错:package XXX is not in std解决办法
这篇文章主要给大家介绍了go引入自建包名报错:package XXX is not in std的解决办法,这是在写测试引入包名的时候遇到的错误提示,文中将解决办法介绍的非常详细,需要的朋友可以参考下2023-12-12
这篇文章主要为大家介绍了golang cache带索引超时缓存库实战示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-09-09
在Go语言中,os.Exit函数用于立即终止程序并返回一个指定的退出状态码,本文就来介绍一下golang os.Eixt使用,具有一定的参考价值,感兴趣的可以了解一下2024-10-10
本文主要介绍了golang API请求队列的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-04-04
我们的代码业务中很多地方需要我们自己进行排序操作，本文主要介绍了详解go语言中sort如何排序，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-03-03
HMAC（Hash-based Message Authentication Code）是一种基于 Hash 函数和密钥的消息认证码,HMAC将密钥、消息和哈希函数一起使用,确保消息在传输过程中不被篡改,还可以验证消息的发送者身份,本文详细讲解了如何在Golang中实现HMAC,需要的朋友可以参考下2023-11-11
这篇文章主要介绍了go语言检测文件是否存在的方法,实例分析了Go语言文件操作的相关技巧,需要的朋友可以参考下2015-03-03
在Go中,接口起到一个十分关键的角色,它们提供了一种方式来定义对象的行为,而不需要知道对象的具体实现,一个常见的错误是在实现方而不是使用方定义接口,本文将详细探讨为何这样做是一个错误,以及如何避免它2024-01-01
GO语言的for…range 能做什么呢？golang的for…range是go 身的语法，可以用来遍历数据结构，本文就详细的来介绍一下具体使用，感兴趣的可以了解一下2021-10-10
最新评论