Go使用Pipeline实现一个简洁而高效的数据处理流水线

package main

import (
    "fmt"
)

// Stage 1: 生成器
func generator(nums ...int) <-chan int {
    out := make(chan int)
    go func() {
        for _, n := range nums {
            out <- n
        }
        close(out)
    }()
    return out
}

// Stage 2: 处理器（求平方）
func square(in <-chan int) <-chan int {
    out := make(chan int)
    go func() {
        for n := range in {
            out <- n * n
        }
        close(out)
    }()
    return out
}

// Stage 3: 输出阶段
func printResults(in <-chan int) {
    for n := range in {
        fmt.Println("结果:", n)
    }
}

func main() {
    // 构建流水线
    gen := generator(1, 2, 3, 4, 5)
    sq := square(gen)
    printResults(sq)
}

结果: 1
结果: 4
结果: 9
结果: 16
结果: 25

[Generator] --> [Square] --> [Print]
     |              |          |
    goroutine     goroutine   主线程

func merge(cs ...<-chan int) <-chan int {
    out := make(chan int)
    var wg sync.WaitGroup

    output := func(c <-chan int) {
        for n := range c {
            out <- n
        }
        wg.Done()
    }

    wg.Add(len(cs))
    for _, c := range cs {
        go output(c)
    }

    go func() {
        wg.Wait()
        close(out)
    }()
    return out
}

in := generator(1, 2, 3, 4, 5, 6)
c1 := square(in)
c2 := square(in) // 注意不能重复消费同一个channel
// 正确方式是广播in的内容到多个square协程

// 这里只是示意，如果需要并发执行 square，需用 fan-out + fan-in 模式