golang并发控制

常见的并发控制
常见的并发控制

channel:通过无缓冲的channel进行同步调用,有缓冲的channel进行异步调用,也可限制并发数量

waitgroup:可以通过add来动态调整,释放的时间需要使用defer 进行wg.done操作

context:通过在协程之间传递上下文消息,可对派生的子协程进行并发控制,防止资源浪费

高并发任务控制包

b站开源的并发控制包,对以上三种并发控制包的优点进行融合。限制并发数量,对并发上下文控制等。 虽然官方在go1.17版本也引入并发控制包,但没有b站开源的支持场景多,建议使用b站开源包,简单场景可使用官方包。我们一般使用高并发,处理大量的数据分析工作。对用一个job拥有子任务的时候,对于整个任务有两种限制:

  • 一个任务失败会导致所有*未进行或进行中*的任务被 cancel
  • 一个任务失败导致所有任务被 cancel

Notice:在并行进行任务调度的时候,做好业务侧兜底,失败的任务进行日志记录,告警等。

并发控制包

kratos并发控制包:

errgroup package - github.com/bilibili/kratos/pkg/sync/errgroup - Go Packages

官方1.17后引入:

https://pkg.go.dev/golang.org/x/sync/errgroup#pkg-overview

b站开源开发控制包demo详情

并发数量限制

设置最大并行数 GOMAXPROCS 对以上三种使用方式均起效 NOTE: 由于 errgroup 实现问题,设定 GOMAXPROCS 的 errgroup 需要立即调用 Wait() 例如:

复制代码
g := errgroup.WithCancel(ctx)
g.GOMAXPROCS(2)
// task1
g.Go(func(ctx context.Context) {
    fmt.Println("task1")
})
// task2
g.Go(func(ctx context.Context) {
    fmt.Println("task2")
})
// task3
g.Go(func(ctx context.Context) {
    fmt.Println("task3")
})
// NOTE: 此时设置的 GOMAXPROCS 为2, 添加了三个任务 task1, task2, task3 此时 task3 是不会运行的!
// 只有调用了 Wait task3 才有运行的机会
g.Wait() // task3 运行

子任务失败所有任务被取消

复制代码
g := errgroup.WithCancel(ctx)
g.Go(func(ctx context.Context) {
    // NOTE: 此时 ctx 是从 errgroup.WithContext 传递的 ctx 派生出的 ctx
    // do something
})

子任务执行失败不影响其他子任务继续执行

复制代码
直接使用 此时不会因为一个任务失败导致所有任务被 cancel:

g := &errgroup.Group{}
g.Go(func(ctx context.Context) {
	// NOTE: 此时 ctx 为 context.Background()
	// do something
})
WithContext 使用 WithContext 时不会因为一个任务失败导致所有任务被 cancel:

g := errgroup.WithContext(ctx)
g.Go(func(ctx context.Context) {
	// NOTE: 此时 ctx 为 errgroup.WithContext 传递的 ctx
	// do something
})

参考资料:

errgroup package - github.com/bilibili/kratos/pkg/sync/errgroup - Go Packages

errgroup package - golang.org/x/sync/errgroup - Go Packages

相关推荐
HashTang21 分钟前
不用再配服务器了!这套 Next.js + Cloudflare 模板,一个人搞定全栈出海
前端·后端·边缘计算
liu****21 分钟前
4.基础开发工具(一)
linux·开发语言·1024程序员节
文火冰糖的硅基工坊21 分钟前
[人工智能-大模型-72]:模型层技术 - 模型训练六大步:①数据预处理 - 基本功能与对应的基本组成函数
开发语言·人工智能·python
小龙报26 分钟前
《C语言疑难点 --- 字符函数和字符串函数专题(上)》
c语言·开发语言·c++·算法·学习方法·业界资讯·visual studio
凭君语未可31 分钟前
深度解析Java的多态特性
java·开发语言
csbysj202042 分钟前
DTD 元素:XML 与 SGML 文档结构解析指南
开发语言
傻童:CPU1 小时前
C语言练习题
c语言·开发语言
极地星光1 小时前
协程:实战与系统集成(高级篇)
开发语言
0和1的舞者1 小时前
《Git:从入门到精通(八)——企业级git开发相关内容》
大数据·开发语言·git·搜索引擎·全文检索·软件工程·初学者
liulilittle2 小时前
LwIP协议栈MPA多进程架构
服务器·开发语言·网络·c++·架构·lwip·通信