golang的串行处理和并行处理区别

 更新时间:2021年07月08日 15:23:22   作者:吴楚衡  
golang对比其它语言最大的优势就是并行计算(一个go就能实现并发),工作中经常遇到并发的场景, 本文主要介绍了golang的串行处理和并行处理,感兴趣的可以了解一下

程序运算时往往需要数据,而数据的IO又往往需要时间传输,而常见的串行处理,是一个任务处理完成才接着处理新的任务, 其效率低下可想而知。 假如有3个任务要处理,而每个任务都有一定的阻塞,串行处理大概是这个样子:

main.go

package main

import (
    "fmt"
    "time"
)

type Task struct {
    Duration time.Duration
    Name string
}

func main() {
    // 声明要处理的任务
    taskList := []Task {
        {
            1,
            "处理1",
        },
        {
            2,
            "处理2",
        },
        {
            3,
            "处理3",
        },
    }
    starTime := time.Now().Unix()
    for _, item := range taskList {
        goProcess(item)
    }
    fmt.Printf("用时:%ds\n", time.Now().Unix() - starTime)
}

/**
 * 进行处理
 */
func goProcess(task Task) {
    time.Sleep(time.Second * task.Duration) // 假设这是io阻塞会在这里阻塞一些时间,而这些io可能是网络io也可能是磁盘io等,io完成后才会接着运行下去
    fmt.Printf("任务:%s 处理完毕\n", task.Name)
}

处理打印结果
任务:处理1 处理完毕
任务:处理2 处理完毕
任务:处理3 处理完毕
用时:6s

这种串行处理遇到IO阻塞时,弊端就是太费时间了

可以看到,程序在计算时或许用不到多少时间反而是IO阻塞占用了大量的时间。这种占着茅坑不拉屎,外面等着人直跳脚,确实不太好。而用异步处理则可以跳过阻塞,达到避免占坑的情况发生。

用协程的话,则可以在阻塞时先异步执行下去而不用等待,等所有协程都处理结束,再把处理的结果汇总起来就可以了,代码大概是这样子:

main.go

package main

import (
    "fmt"
    "sync"
    "time"
)

type Task struct {
    Duration time.Duration
    Name string
}

func main() {
    // 声明要处理的任务
    taskList := []Task {
        {
            1,
            "处理1",
        },
        {
            2,
            "处理2",
        },
        {
            3,
            "处理3",
        },
    }
    starTime := time.Now().Unix()
    var res []string //处理结果收集
    resChang := make(chan string, len(taskList))
    wg := &sync.WaitGroup{}
    // 这里收集异步处理的结果, 通过管道把数据传递过来,类似于单一订阅功能吧
    go func() {
        wg.Add(1)
        defer wg.Done() // 通道关闭后 处理结果也收集完毕,则触发 用于通知下方批处理,处理结果已经收集完毕
        for resItem := range resChang {
            res = append(res, resItem)
        }
    }()
    taskWG := &sync.WaitGroup{}
    for _, item := range taskList {
        taskWG.Add(1) // 批处理 信号量+1
        go goProcess(item, &resChang, taskWG)
    }
    taskWG.Wait()// 这里阻塞,等待所有处理执行完毕, 才接着运行下去
    close(resChang)// 已经处理完毕后就关闭处理传输通道
    wg.Wait() // 这是阻塞 等待处理收集完毕, 才接着运行去
    // 打印批处理收集的处理结果
    for _, i := range res {
        fmt.Printf("%s", i)
    }
    fmt.Printf("用时:%ds\n", time.Now().Unix() - starTime)
}

/**
 * 进行处理
 */
func goProcess(task Task, resChan *chan string, taskWG *sync.WaitGroup) {
    time.Sleep(time.Second * task.Duration) // 假设这是io阻塞会在这里阻塞一些时间,而这些io可能是网络io也可能是磁盘io等,才会接着运行下去
    res := fmt.Sprintf("任务:%s 处理完毕\n", task.Name)
    defer func() {
        *resChan <- res // 把处理结果传出去
        taskWG.Done() // 批处理信号量-1 来报告处理完毕
    }()
}

运行结果
任务:处理1 处理完毕
任务:处理2 处理完毕
任务:处理3 处理完毕
用时:3s

相对于之前的串行,这次的并行有效处理IO的阻塞,相当于,串行就是占坑不用的角,并行则不管这些,你不用,先把你踹开,给有需要的人用先,这样一脚脚的踹,效率就上一来了。

到此这篇关于golang的串行处理和并行处理实现的文章就介绍到这了,更多相关golang 串行处理和并行处理内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Golang中对json的优雅处理方式

    Golang中对json的优雅处理方式

    这篇文章主要给大家介绍了关于Golang中对json的优雅处理方式,解析JSON在golang中很麻烦,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2023-06-06
  • GoFrame通用类型变量gvar与interface基本使用对比

    GoFrame通用类型变量gvar与interface基本使用对比

    这篇文章主要为大家介绍了GoFrame通用类型变量gvar与interface基本使用对比,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-06-06
  • go数据结构和算法BitMap原理及实现示例

    go数据结构和算法BitMap原理及实现示例

    这篇文章主要为大家介绍了go数据结构和算法BitMap原理及实现示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-07-07
  • Go语言实现汉诺塔算法

    Go语言实现汉诺塔算法

    之前的文章,我们给大家分享了不少汉诺塔算法的实现语言,包括C、c++、java、python等,今天我们就来使用go语言来实现一下,需要的小伙伴来参考下吧。
    2015-03-03
  • go micro微服务proto开发安装及使用规则

    go micro微服务proto开发安装及使用规则

    这篇文章主要为大家介绍了go micro微服务proto开发中安装Protobuf及基本规范字段的规则详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-01-01
  • Go常问的一些面试题汇总(附答案)

    Go常问的一些面试题汇总(附答案)

    通常我们去面试肯定会有些不错的Golang的面试题目的,所以总结下,让其他Golang开发者也可以查看到,同时也用来检测自己的能力和提醒自己的不足之处,这篇文章主要给大家介绍了关于Go常问的一些面试题以及答案的相关资料,需要的朋友可以参考下
    2023-10-10
  • golang的HTTP基本认证机制实例详解

    golang的HTTP基本认证机制实例详解

    这篇文章主要介绍了golang的HTTP基本认证机制,结合实例形式较为详细的分析了HTTP请求响应的过程及认证机制实现技巧,需要的朋友可以参考下
    2016-07-07
  • Golang单元测试中的技巧分享

    Golang单元测试中的技巧分享

    这篇文章主要为大家详细介绍了Golang进行单元测试时的一些技巧和科技,文中的示例代码讲解详细,具有一定的参考价值,感兴趣的小伙伴可以了解一下
    2023-03-03
  • 用Go+Redis实现分布式锁的示例代码

    用Go+Redis实现分布式锁的示例代码

    在分布式的业务中 , 如果有的共享资源需要安全的被访问和处理 , 那就需要分布式锁,本文主要介绍了用Go+Redis实现分布式锁的示例代码,感兴趣的可以了解一下
    2021-12-12
  • goland安装1.7版本报错Unpacked SDK is corrupted解决

    goland安装1.7版本报错Unpacked SDK is corrupted解决

    这篇文章主要为大家介绍了goland安装1.7版本报错Unpacked SDK is corrupted解决,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-11-11

最新评论