golang协程池之gopool

简介

goroutine协程,是golang的轻量级线程。协程池利用池化技术,复用对象,减少了内存分配的频率以及协程创建开销。

gopool是字节跳动开源节流的gopkg包中协程池的一个实现。

gopool

github.com/bytedance/g...

gopool是字节官方开源的gopkg库提供的协程池实现

demo try

go 复制代码
gopool.Go(func(){}
    // do your job
)

一探究竟

Task

task是链表结构,记录了待执行任务的信息

go 复制代码
type task struct {
	ctx context.Context
	f   func()

	next *task
}
Worker

worker关联了协程池的实例

Pool

Pool定义了协程池的接口

pool是协程池的实现,包含了task的链表结构。

pool通过workerpool和taskpool来创建worker和task实例

核心逻辑

新增执行任务task时,通过taskpool创建task对象。视需创建worker,执行worker的run方法

css 复制代码
    t := taskPool.Get().(*task)
    // ...
    if () {
        p.incWorkerCount()
        w := workerPool.Get().(*worker)
        w.pool = p
        w.run()
    }

worker执行时,会获取pool锁,从pool中取出待执行任务,执行任务

scss 复制代码
go func() {
		for {
			var t *task
			w.pool.taskLock.Lock()
            // get task
            w.pool.taskLock.Unlock()
            // ...
            t.f()
        }
}
相关配置

pool支持传入ScaleThreshold,当等待任务执行数超过此配置时,创建新的worker

默认实现

defaultPool是pool的默认实现,支持配置容量Cap、panicHandler等

go 复制代码
func SetCap(cap int32) {
	defaultPool.SetCap(cap)
}

func SetPanicHandler(f func(context.Context, interface{})) {
	defaultPool.SetPanicHandler(f)
}

总结

pool是gopool的一个逻辑协程池,管理着待执行的task,可以动态创建worker来多协程并发处理task对象。同时,通过sync.pool来优化了task和worker对象的创建。

相关推荐
大鸡腿同学5 分钟前
身弱武修法:玄之又玄,奇妙之门
后端
轻语呢喃2 小时前
JavaScript :字符串模板——优雅编程的基石
前端·javascript·后端
MikeWe2 小时前
Paddle张量操作全解析:从基础创建到高级应用
后端
岫珩2 小时前
Ubuntu系统关闭防火墙的正确方式
后端
心之语歌2 小时前
Java高效压缩技巧:ZipOutputStream详解
java·后端
不死的精灵3 小时前
【Java21】在spring boot中使用ScopedValue
java·spring boot·后端
M1A14 小时前
TCP/IP协议精解:IP协议——互联网世界的邮政编码系统
后端·网络协议·tcp/ip
逸风尊者4 小时前
开发易掌握的知识:GeoHash查找附近空闲车辆
java·后端
程序猿阿越5 小时前
Kafka源码(一)Controller选举与创建Topic
java·后端·源码
程序员爱钓鱼5 小时前
Go语言项目工程化 — 常见开发工具与 CI/CD 支持
开发语言·后端·golang·gin