go并发模式之----工作池/协程池模式

常见模式之四:工作池/协程池模式

定义

顾名思义,就是有固定数量的工人(协程),去执行批量的任务

使用场景

  • 适用于需要限制并发执行任务数量的情况

  • 创建一个固定大小的 goroutine 池,将任务分发给池中的 goroutine 并等待它们完成,使用带缓冲的通道来接收任务,以避免阻塞主线程

示例

有生产需求,建议使用大佬写的 ants库 ,以下是模拟协程池的简单示例

假设,我们有固定数量(2个)工人执行批量(4个)任务

Go 复制代码
package main

import (
	"fmt"
	"sync"
)

type Task struct {
	TaskFunc func() interface{}
}

type WorkerPool struct {
	Size    int
	Wg      *sync.WaitGroup
	Tasks   chan Task
	Results chan Result
}

type Result struct {
	ID  int
	Res interface{}
}

func NewWorkerPool(workerNum, taskBufSize int) *WorkerPool {
	return &WorkerPool{
		Size:    workerNum,
		Wg:      &sync.WaitGroup{},
		Tasks:   make(chan Task, taskBufSize),
		Results: make(chan Result, taskBufSize),
	}
}

func (w *WorkerPool) AddTask(task Task) {
	w.Tasks <- task
}

func (w *WorkerPool) Run() {
	for i := 1; i <= w.Size; i++ {
		w.Wg.Add(1)
		go func(id int) {
			defer w.Wg.Done()
			w.Work(id, w.Tasks, w.Results)
		}(i)
	}
}

func (w *WorkerPool) Work(Id int, tasks chan Task, results chan Result) {
	for task := range tasks {
		results <- Result{
			ID:  Id,
			Res: task.TaskFunc(),
		}
	}
}

func main() {
	pool := NewWorkerPool(3, 10)
	pool.Run()
	pool.AddTask(Task{TaskFunc: func() interface{} {
		return 2 * 3
	}})
	pool.AddTask(Task{TaskFunc: func() interface{} {
		return 4 * 5
	}})
	pool.AddTask(Task{TaskFunc: func() interface{} {
		return 6 * 7
	}})
	pool.AddTask(Task{TaskFunc: func() interface{} {
		return 8 * 9
	}})
	close(pool.Tasks)
	go func() {
		pool.Wg.Wait()
		close(pool.Results)
	}()
	for v := range pool.Results {
		fmt.Println(v.ID, v.Res)
	}
}
相关推荐
Dcs1 分钟前
Anthropic 爆严重安全漏洞!程序员机器沦陷
java
随心点儿8 分钟前
使用python 将多个docx文件合并为一个word
开发语言·python·多个word合并为一个
不学无术の码农11 分钟前
《Effective Python》第十三章 测试与调试——使用 Mock 测试具有复杂依赖的代码
开发语言·python
tomcsdn3117 分钟前
SMTPman,smtp的端口号是多少全面解析配置
服务器·开发语言·php·smtp·邮件营销·域名邮箱·邮件服务器
EnigmaCoder22 分钟前
Java多线程:核心技术与实战指南
java·开发语言
攀小黑25 分钟前
阿里云 使用TST Token发送模板短信
java·阿里云
麦兜*31 分钟前
Spring Boot秒级冷启动方案:阿里云FC落地实战(含成本对比)
java·spring boot·后端·spring·spring cloud·系统架构·maven
自由鬼1 小时前
正向代理服务器Squid:功能、架构、部署与应用深度解析
java·运维·服务器·程序人生·安全·架构·代理
fouryears_234172 小时前
深入拆解Spring核心思想之一:IoC
java·后端·spring
codervibe2 小时前
使用 Spring Boot + JWT 实现多角色登录认证(附完整流程图)
java·后端