在并发编程中,"流水线(Pipeline)"是一种常见的设计模式,它将一个复杂任务拆解为多个独立步骤,由多个协程并行处理并通过通道传递数据。Go语言天生支持这种模型,能显著提高数据处理的性能和可读性。
本文将通过一个实际案例,带你快速掌握如何使用 Go 实现一个简洁而高效的数据处理流水线。
一、什么是 Pipeline?
Pipeline 本质上是多个任务的串联,每个任务在独立的协程中运行,并通过 channel 将数据传递给下一个阶段。好处是:
- • 易于解耦,每个阶段职责单一;
- • 利用并发,提高处理效率;
- • 易于扩展,插拔式维护。
二、实战案例:构建整数平方处理流水线
需求说明:
我们希望实现如下的数据处理过程:
-
- 生成器阶段:生成一批整数;
-
- 处理阶段:对每个整数求平方;
-
- 汇总阶段:打印处理结果。
每个阶段在独立的 goroutine 中完成,并通过 channel 串联。
三、完整代码示例:
go
package main
import (
"fmt"
)
// Stage 1: 生成器
func generator(nums ...int) <-chan int {
out := make(chan int)
go func() {
for _, n := range nums {
out <- n
}
close(out)
}()
return out
}
// Stage 2: 处理器(求平方)
func square(in <-chan int) <-chan int {
out := make(chan int)
go func() {
for n := range in {
out <- n * n
}
close(out)
}()
return out
}
// Stage 3: 输出阶段
func printResults(in <-chan int) {
for n := range in {
fmt.Println("结果:", n)
}
}
func main() {
// 构建流水线
gen := generator(1, 2, 3, 4, 5)
sq := square(gen)
printResults(sq)
}
四、运行结果:
makefile
结果: 1
结果: 4
结果: 9
结果: 16
结果: 25
五、流水线结构图(逻辑上)
css
[Generator] --> [Square] --> [Print]
| | |
goroutine goroutine 主线程
六、进阶优化:并发多路处理
你还可以通过多个 square
协程对输入并行处理,然后合并结果。
go
func merge(cs ...<-chan int) <-chan int {
out := make(chan int)
var wg sync.WaitGroup
output := func(c <-chan int) {
for n := range c {
out <- n
}
wg.Done()
}
wg.Add(len(cs))
for _, c := range cs {
go output(c)
}
go func() {
wg.Wait()
close(out)
}()
return out
}
使用示例:
go
in := generator(1, 2, 3, 4, 5, 6)
c1 := square(in)
c2 := square(in) // 注意不能重复消费同一个channel
// 正确方式是广播in的内容到多个square协程
// 这里只是示意,如果需要并发执行 square,需用 fan-out + fan-in 模式
七、总结
Pipeline 是 Go 中非常优雅的并发设计模型,具有以下优势:
✅ 简洁直观,符合处理流程思维
✅ 利用协程和通道,实现高并发数据流
✅ 模块化结构,易于调试与扩展
八、最佳实践建议
- • 每个 stage 尽可能保持职责单一;
- • 注意关闭通道避免资源泄漏;
- • 避免重复读取一个 channel(可以用广播或缓存);
- • 使用
context
加入取消机制,控制生命周期(结合前一篇博客一起使用更佳)。
后续我们还将介绍如何在流水线中引入错误处理、中间缓存、任务超时等机制,打造更鲁棒的并发数据处理系统。