Go 通过 goroutines 实现类似线程池的模式

Go 语言自身不提供传统意义上的线程池(thread pool)概念,因为它有一套自己的并发模型,基于 goroutines 和 channels。goroutine 是 Go 语言的轻量级线程,调度由 Go 运行时管理,不需要像操作系统线程那样显式创建和管理线程池。

goroutines 在多核处理器上可以并行运行,Go 运行时会自动在可用的逻辑核心之间分配 goroutines。这意味着通常不需要自己管理一个线程池;只需启动所需数量的 goroutines,剩下的工作交给 Go 的调度器来处理。

如果需要限制同时运行的任务数量,或者想要复用一定数量的工作单元以减少创建和销毁 goroutines 的开销,可以实现一个类似线程池的模式。一个简单的方式是使用 buffered channel 来限制并发。

下面是一个实现了固定数量工作者的 goroutines 池的简单例子:

go 复制代码
package main

import (
	"fmt"
	"sync"
	"time"
)

func worker(tasksCh <-chan int, wg *sync.WaitGroup) {
	defer wg.Done()
	for task := range tasksCh {
		process(task)
	}
}

func process(task int) {
	fmt.Printf("处理任务 %d\n", task)
	time.Sleep(time.Second) // 模拟任务处理时间
}

func main() {
	tasks := []int{1, 2, 3, 4, 5, 6, 7, 8, 9, 10} // 任务列表
	nWorkers := 3 // 工作者数量(类似线程池大小)

	tasksCh := make(chan int, len(tasks))
	wg := sync.WaitGroup{}

	// 启动指定数量的工作者 goroutines
	for i := 0; i < nWorkers; i++ {
		wg.Add(1)
		go worker(tasksCh, &wg)
	}

	// 将任务发送到任务通道
	for _, task := range tasks {
		tasksCh <- task
	}
	close(tasksCh) // 发送完毕后关闭通道

	// 等待所有工作者完成
	wg.Wait()
}

其中worker 函数是每个工作者 goroutine 执行的函数,它从 tasksCh 中接收任务。main 函数创建了一个有限大小的任务通道(buffered channel),并启动了固定数量的工作者 goroutines。然后它将所有任务发送到通道中,工作者会并发地处理这些任务,但同时运行的工作者数量不会超过 nWorkers。这样,就可以控制并发执行的任务数量,从而实现类似线程池的行为。

相关推荐
invicinble几秒前
对linux形成认识
linux·运维·服务器
技术路上的探险家12 分钟前
8 卡 V100 服务器:基于 vLLM 的 Qwen 大模型高效部署实战
运维·服务器·语言模型
百锦再32 分钟前
Reactive编程入门:Project Reactor 深度指南
前端·javascript·python·react.js·django·前端框架·reactjs
莲华君34 分钟前
React快速上手:从零到项目实战
前端·reactjs教程
百锦再34 分钟前
React编程高级主题:测试代码
android·前端·javascript·react.js·前端框架·reactjs
半桔37 分钟前
【IO多路转接】高并发服务器实战:Reactor 框架与 Epoll 机制的封装与设计逻辑
linux·运维·服务器·c++·io
绵绵细雨中的乡音38 分钟前
深入理解 ET 与 LT 模式及其在 Reactor 模型中的应用
服务器·网络·php
易安说AI1 小时前
Ralph Loop 让Claude无止尽干活的牛马...
前端·后端
HABuo1 小时前
【linux文件系统】磁盘结构&文件系统详谈
linux·运维·服务器·c语言·c++·ubuntu·centos
Howrun7772 小时前
关于Linux服务器的协作问题
linux·运维·服务器