golang协程池之gopool

简介

goroutine协程,是golang的轻量级线程。协程池利用池化技术,复用对象,减少了内存分配的频率以及协程创建开销。

gopool是字节跳动开源节流的gopkg包中协程池的一个实现。

gopool

github.com/bytedance/g...

gopool是字节官方开源的gopkg库提供的协程池实现

demo try

go 复制代码
gopool.Go(func(){}
    // do your job
)

一探究竟

Task

task是链表结构,记录了待执行任务的信息

go 复制代码
type task struct {
	ctx context.Context
	f   func()

	next *task
}
Worker

worker关联了协程池的实例

Pool

Pool定义了协程池的接口

pool是协程池的实现,包含了task的链表结构。

pool通过workerpool和taskpool来创建worker和task实例

核心逻辑

新增执行任务task时,通过taskpool创建task对象。视需创建worker,执行worker的run方法

css 复制代码
    t := taskPool.Get().(*task)
    // ...
    if () {
        p.incWorkerCount()
        w := workerPool.Get().(*worker)
        w.pool = p
        w.run()
    }

worker执行时,会获取pool锁,从pool中取出待执行任务,执行任务

scss 复制代码
go func() {
		for {
			var t *task
			w.pool.taskLock.Lock()
            // get task
            w.pool.taskLock.Unlock()
            // ...
            t.f()
        }
}
相关配置

pool支持传入ScaleThreshold,当等待任务执行数超过此配置时,创建新的worker

默认实现

defaultPool是pool的默认实现,支持配置容量Cap、panicHandler等

go 复制代码
func SetCap(cap int32) {
	defaultPool.SetCap(cap)
}

func SetPanicHandler(f func(context.Context, interface{})) {
	defaultPool.SetPanicHandler(f)
}

总结

pool是gopool的一个逻辑协程池,管理着待执行的task,可以动态创建worker来多协程并发处理task对象。同时,通过sync.pool来优化了task和worker对象的创建。

相关推荐
不死的精灵9 分钟前
【Java21】在spring boot中使用ScopedValue
java·spring boot·后端
M1A11 小时前
TCP/IP协议精解:IP协议——互联网世界的邮政编码系统
后端·网络协议·tcp/ip
逸风尊者1 小时前
开发易掌握的知识:GeoHash查找附近空闲车辆
java·后端
程序猿阿越2 小时前
Kafka源码(一)Controller选举与创建Topic
java·后端·源码
程序员爱钓鱼2 小时前
Go语言项目工程化 — 常见开发工具与 CI/CD 支持
开发语言·后端·golang·gin
Jiude2 小时前
MinIO 社区版被故意阉割,Web管理功能全面移除。我来试试国产RustFS
后端·docker·架构
仰望星空@脚踏实地3 小时前
Spring Boot Web 服务单元测试设计指南
spring boot·后端·单元测试
羊小猪~~3 小时前
数据库学习笔记(十七)--触发器的使用
数据库·人工智能·后端·sql·深度学习·mysql·考研
用户8324951417323 小时前
JAVA 版本多版本切换 - 傻瓜式操作工具
后端
estarlee3 小时前
随机昵称网名API接口教程:轻松获取百万创意昵称库
后端