Golang WorkerPool线程池并发模式示例详解

更新时间：2022年08月17日 09:12:32 作者：龚国玮

这篇文章主要为大家介绍了Golang WorkerPool线程池并发模式示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

正文

Worker Pools 线程池是一种并发模式。该模式中维护了固定数量的多个工作器，这些工作器等待着管理者分配可并发执行的任务。该模式避免了短时间任务创建和销毁线程的代价。

在 golang 中，我们使用 goroutine 和 channel 来构建这种模式。工作器 worker 由一个 goroutine 定义，该 goroutine 通过 channel 获取数据。

处理CVS文件记录

接下来让我们通过一个例子，来进一步理解该模式。假设您需要处理来自 CVS 文件的记录数据，我们需要将该文件中的经纬度保存到数据库中。代码如下。

package main
import (
	"encoding/csv"
	"fmt"
	"os"
	"time"
)
type city struct {
	name     string
	location string
}
func createCity(record city) {
	time.Sleep(10 * time.Millisecond)
}
func main() {
	startTime := time.Now()
	csvFile, err := os.Open("cities.csv")
	if err != nil {
		fmt.Println(err)
	}
	fmt.Println("Successfully Opened CSV file")
	defer csvFile.Close()
	csvLines, err := csv.NewReader(csvFile).ReadAll()
	if err != nil {
		fmt.Println(err)
	}
	counter := 0
	for _, line := range csvLines {
		counter++
		createCity(city{
			name:     line[0],
			location: line[1],
		})
	}
	fmt.Println("records saved:", counter)
	fmt.Println("total time:", time.Since(startTime))
}

🚚 获取测试数据

cities.csv

输出：

正如我们所看到的，保存 CSV 中所有记录需要 55 秒，这是很长的时间，可能会导致很多性能问题。用户如果想要上传 CSV 文件，那体验感一定很差。

如何解决这个问题？那我们就使用线程池的方法试试看。

线程池耗时差异

在如下示例中，我们将解决相同的需求，但通过线程池，耗时方面，我们能够看到巨大的差异。来吧！

代码如下

package main
import (
	"encoding/csv"
	"fmt"
	"os"
	"time"
)
type city struct {
	name     string
	location string
}
func createCity(record city) {
	time.Sleep(10 * time.Millisecond)
}
func readData(cityChn chan []city) {
	var cities []city
	csvFile, err := os.Open("cities.csv")
	if err != nil {
		fmt.Println(err)
	}
	fmt.Println("Successfully Opened CSV file")
	defer csvFile.Close()
	csvLines, err := csv.NewReader(csvFile).ReadAll()
	if err != nil {
		fmt.Println(err)
	}
	for _, line := range csvLines {
		cities = append(cities, city{
			name:     line[0],
			location: line[1],
		})
	}
	cityChn <- cities
}
func worker(cityChn chan city) {
	for val := range cityChn {
		createCity(val)
	}
}
func main() {
	startTime := time.Now()
	cities := make(chan []city)
	go readData(cities)
	const workers = 5
	jobs := make(chan city, 1000)
	for w := 1; w <= workers; w++ {
		go worker(jobs)
	}
	counter := 0
	for _, val := range <-cities {
		counter++
		jobs <- val
	}
	fmt.Println("records saved:", counter)
	fmt.Println("total time:", time.Since(startTime))
}

输出：

你看到很大的不同了吗？现在同样的过程只需要 8 秒。正如您所见，当我们需要处理大量数据时，线程池非常有用。

使用线程池，我们必须定义一个函数，在示例中该函数为 worker，该函数用于定义工作进程，您可以看到它接收一个 Channel 通道来处理数据。另外，我们必须在数据传递到通道之前启动 goroutines 协程，当 Channel 通道获取到值时，goroutines 工作者开始处理它们。

🎉 现在您知道如何实现线程池了！

以上就是Golang WorkerPool线程池并发模式示例详解的详细内容，更多关于Golang WorkerPool线程池并发的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

看看你的Go应用是否用了正确CPU核数
这篇文章主要为大家介绍了Go应用正确的CPU核数分析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2023-06-06
golang内存对齐的项目实践
本文主要介绍了golang内存对齐的项目实践,内存对齐不仅有助于提高内存访问效率,还确保了与硬件接口的兼容性,是Go语言编程中不可忽视的重要优化手段,下面就来介绍一下
2025-02-02
go语言中json处理方式详解
这篇文章主要介绍了go语言中json处理方式,文中通过实例代码讲解的非常详细,对大家的学习或工作有一定的帮助,感兴趣的小伙伴跟着小编一起来看看吧
2024-05-05
一文带你深入理解Golang中的泛型
Go 在泛型方面一直被诟病，因为它在这方面相对比较落后。但是，在 Go 1.18 版本中，泛型已经被正式引入，成为了 Go 语言中一个重要的特性。本文将会详细介绍 Go 泛型的相关概念，语法和用法，希望能够帮助大家更好地理解和应用这一特性
2023-05-05
使用Go语言与MQTT进行通信的示例代码
本文介绍了如何使用 Go 编程语言与 MQTT（Message Queuing Telemetry Transport）进行通信,MQTT 是一种轻量级的消息传输协议,广泛应用于物联网和实时通信场景,通过本文的指导,您将学习如何使用 Go 语言创建 MQTT 客户端,进行消息的发布和订阅,需要的朋友可以参考下
2023-12-12
使用Golang快速构建出命令行应用程序
在日常开发中，大家对命令行工具（CLI）想必特别熟悉了，如果说你不知道命令工具，那你可能是个假开发。每天都会使用大量的命令行工具，例如最常用的Git、Go、Docker等，这篇文章主要介绍了使用Golang快速构建出命令行应用程序,需要的朋友可以参考下
2023-02-02
详解Golang的GC和内存逃逸
这篇文章主要给大家详细介绍了Golang的GC和内存逃逸，文章中有详细的代码示例，对我们的学习或工作有一定的帮助,需要的朋友可以参考下
2023-07-07
golang中snappy的使用场合实例详解
在java 和go语言大字符传达的时候，采用snappy 压缩解压缩是最好的方案。下面这篇文章主要给大家介绍了关于golang中snappy使用场合的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考下。
2017-12-12
go语言 http模型reactor示例详解
这篇文章主要介绍了go语言 http模型reactor,接下来看一段基于reactor的示例，这里运行通过 go run main.go，本文结合示例代码给大家介绍的非常详细，需要的朋友可以参考下
2023-01-01
golang调用windows平台的dll库的方法实现
本文主要介绍了golang调用windows平台的dll库的方法实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
2025-03-03