Golang编程并发工具库MapReduce使用实践

更新时间：2022年04月29日 09:50:59 作者：EvaCcino

这篇文章主要为大家介绍了Golang并发工具库MapReduce的使用实践，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

环境

go version go1.16.4 windows/amd64
Intel(R) Core(TM) i7-7820HK CPU @ 2.90GHz 4核心8线程

项目需求

处理数个约5MB的小文件

计算源文件MD5和目标文件MD5进行对比，如不相同则报错并终止程序执行

mapReduce使用说明

go get -u github.com/tal-tech/go-zero

需求实现

判断上下文是否中止 → 读取数据 → 写入数据 → 校验MD5

 func fnBuilder(name string) func() error {
   return func() error {
        // 判断上下文是否终止
        select {
        case <-ctx.Done():
          return ctx.Err()
        default:
        }
        // 读取源数据
        data, _err := os.ReadFile(filepath.Join(sourcePath, fileName))
        // 计算源数据MD5
        sourceMD5 := hash.Md5(data)
        // 获取名称
        fields := strings.Split(d.Name(), "-")
        // 目标文件路径
        distFilePath := filepath.Join(distPath, fileName)
        // 拷贝数据
        os.WriteFile(distFilePath, data, 0600)
        // 校验数据
        distData, _err := os.ReadFile(distFilePath)
        distMD5 := hash.Md5(distData)
        if !bytes.EqualFold(sourceMD5, distMD5) {
          return errors.New("md5校验失败")
        }
        return nil
      }
 }

业务逻辑

创建任务队列

type SourceMap = map[string]fs.DirEntry
func CopyFileToDist(ctx context.Context, source SourceMap) (err error) {
  // 创建工作队列
  work := make([]func() error, 0, len(source))
  for _name := range source {
    // 创建任务
    work = append(work, fnBuilder(_name))
  }
  switch concurrency {
  default:
    // mapReduce
  case 1:
    // sync.waitGroup
  case 2:
    // 串行
  }
}

执行方式1：MapReduce

 func() {
    if err = mr.Finish(work...); err != nil {
      return err
    }
 }

执行方式2：sync.WaitGroup

func() {
    var wg sync.WaitGroup
    wg.Add(len(work))
    for k := range work {
      go func(index int) {
        defer wg.Done()
        if err = work[index](); err != nil {
          log.Errorln(err)
          return
        }
      }(k)
    }
    wg.Wait()
}

执行方式3：串行

func() {
    for _, fn := range work {
      if err = fn(); err != nil {
        return err
      }
    }
}

运行结果

MapReduce

耗时 109220900 ns

{"file":"D:/go/src/filenamesSorter/main.go:44","func":"main.init.0","level":"info","msg":"并发处理（0-mapReduce 1-Sync.WaitGroup 2-不并发） 0","time":"2021-06-02T13:32:05+08:00"}
{"file":"D:/go/src/filenamesSorter/main.go:69","func":"main.main","level":"info","msg":"文件分类完毕","time":"2021-06-02T13:32:05+08:00","文件数":17,"耗时(ns)":109220900}

sync.WaitGroup

耗时 109798000 ns

{"file":"D:/go/src/filenamesSorter/main.go:44","func":"main.init.0","level":"info","msg":"并发处理（0-mapReduce 1-Sync.WaitGroup 2-不并发） 1","time":"2021-06-02T13:31:28+08:00"}
{"file":"D:/go/src/filenamesSorter/main.go:69","func":"main.main","level":"info","msg":"文件分类完毕","time":"2021-06-02T13:31:28+08:00","文件数":17,"耗时(ns)":109798000}

串行

耗时 359307700 ns

{"file":"D:/go/src/filenamesSorter/main.go:44","func":"main.init.0","level":"info","msg":"并发处理（0-mapReduce 1-Sync.WaitGroup 2-不并发） 2","time":"2021-06-02T13:33:02+08:00"}
{"file":"D:/go/src/filenamesSorter/main.go:69","func":"main.main","level":"info","msg":"文件分类完毕","time":"2021-06-02T13:33:02+08:00","文件数":17,"耗时(ns)":359307700}

结论

在不严格的情况下，执行效率方面可以认为 mapReduce ≈ sync.WaitGroup
易用性（包括并发和错误处理），mapReduce 完胜 sync.WaitGroup
mapReduce好用

引申阅读

通过MapReduce降低服务响应时间

以上就是Golang编程并发工具库MapReduce使用实践的详细内容，更多关于Golang并发工具库MapReduce的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

浅析Go语言容器之数组和切片的使用
在 Java 的核心库中，集合框架可谓鼎鼎大名：Array 、List、Set等等，随便拎一个出来都值得开发者好好学习如何使用甚至是背后的设计源码。虽然Go语言没有如此丰富的容器类型，但也有一些基本的容器供开发者使用，接下来让我们认识一下这些容器类型吧
2022-11-11
Golang filepath包常用函数详解
本文介绍与文件路径相关包，该工具包位于path/filepath中，该包试图与目标操作系统定义的文件路径兼容。本文介绍一些常用函数，如获取文件绝对路径，获取文件名或目录名、遍历文件、分割文件路径、文件名模式匹配等函数，并给具体示例进行说明
2023-02-02
Mac上Go环境和VS Code的正确安装与配置方法
Go语言是一个新兴的语言。下面介绍一下如何在Mac系统下安装和使用这个语言，Go语言提供了mac下安装包，可直接下载安装包点击安装
2018-03-03
beego获取ajax数据的实例
下面小编就为大家分享一篇beego获取ajax数据的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2017-12-12
Go实现socks5服务器的方法
SOCKS5 是一个代理协议，它在使用TCP/IP协议通讯的前端机器和服务器机器之间扮演一个中介角色，使得内部网中的前端机器变得能够访问Internet网中的服务器，或者使通讯更加安全，这篇文章主要介绍了Go实现socks5服务器的方法,需要的朋友可以参考下
2023-07-07
golang使用sync.singleflight解决热点缓存穿透问题
在go的sync包中，有一个singleflight包，里面有一个 singleflight.go文件，代码加注释，一共200行出头，通过 singleflight可以很容易实现缓存和去重的效果，避免重复计算，接下来我们就给大家详细介绍一下sync.singleflight如何解决热点缓存穿透问题
2023-07-07
一文带你了解Go语言实现的并发神库conc
前几天逛github发现了一个有趣的并发库-conc，这篇文章将为大家详细介绍一下这个库的实现，文中的示例代码讲解详细，感兴趣的可以了解一下
2023-01-01
简单聊聊Go语言中空结构体和空字符串的特殊之处
在日常的编程过程中,大家应该经常能遇到各种”空“吧,比如空指针、空结构体、空字符串等,本文就以 Go 语言为例,一起来看看空结构体和空字符串在 Go 语言中的特殊之处吧
2024-03-03
golang之数据验证validator的实现
这篇文章主要介绍了golang之数据验证validator的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-10-10
go语言中结构体tag使用小结
Go语言是一种静态类型、编译型的编程语言,其中结构体是一种非常重要的数据类型,本文就来介绍一下go语言中结构体tag使用,具有一定的参考价值,感兴趣的可以了解一下
2023-10-10