Go 通过 goroutines 实现类似线程池的模式

worxfr2024-01-30 10:24

Go 语言自身不提供传统意义上的线程池（thread pool）概念，因为它有一套自己的并发模型，基于 goroutines 和 channels。goroutine 是 Go 语言的轻量级线程，调度由 Go 运行时管理，不需要像操作系统线程那样显式创建和管理线程池。

goroutines 在多核处理器上可以并行运行，Go 运行时会自动在可用的逻辑核心之间分配 goroutines。这意味着通常不需要自己管理一个线程池；只需启动所需数量的 goroutines，剩下的工作交给 Go 的调度器来处理。

如果需要限制同时运行的任务数量，或者想要复用一定数量的工作单元以减少创建和销毁 goroutines 的开销，可以实现一个类似线程池的模式。一个简单的方式是使用 buffered channel 来限制并发。

下面是一个实现了固定数量工作者的 goroutines 池的简单例子：

go 复制代码

package main

import (
	"fmt"
	"sync"
	"time"
)

func worker(tasksCh <-chan int, wg *sync.WaitGroup) {
	defer wg.Done()
	for task := range tasksCh {
		process(task)
	}
}

func process(task int) {
	fmt.Printf("处理任务 %d\n", task)
	time.Sleep(time.Second) // 模拟任务处理时间
}

func main() {
	tasks := []int{1, 2, 3, 4, 5, 6, 7, 8, 9, 10} // 任务列表
	nWorkers := 3 // 工作者数量（类似线程池大小）

	tasksCh := make(chan int, len(tasks))
	wg := sync.WaitGroup{}

	// 启动指定数量的工作者 goroutines
	for i := 0; i < nWorkers; i++ {
		wg.Add(1)
		go worker(tasksCh, &wg)
	}

	// 将任务发送到任务通道
	for _, task := range tasks {
		tasksCh <- task
	}
	close(tasksCh) // 发送完毕后关闭通道

	// 等待所有工作者完成
	wg.Wait()
}

其中worker 函数是每个工作者 goroutine 执行的函数，它从 tasksCh 中接收任务。main 函数创建了一个有限大小的任务通道（buffered channel），并启动了固定数量的工作者 goroutines。然后它将所有任务发送到通道中，工作者会并发地处理这些任务，但同时运行的工作者数量不会超过 nWorkers。这样，就可以控制并发执行的任务数量，从而实现类似线程池的行为。