学习gorm系列七：深入解析gorm如何高效管理数据库连接

大家好，我是渔夫子。

本期我们学习下gorm在执行具体的sql时是如何获取数据库连接以及释放连接的。

关注 Go学堂，获取更多gorm系列文章

一、回顾

在上一期中我们学习了gorm是如何和数据库建立连接的过程。实际上通过gorm.Open函数并没有和数据库建立连接，而只是返回了一个全局的gorm.DB对象。真正的数据库连接是在具体执行sql语句时才建立的。比如在执行db.First、db.Find或db.Update等语句时。

我们以查询为例，如下：

go 复制代码

func main() {
	dsn := "username:password@tcp(127.0.0.1:3306)/test01?charset=utf8mb4&parseTime=True&loc=Local&timeout=1000ms"

	db, _ := gorm.Open(mysql.Open(dsn), nil)

	var row MTest

	db.First(&row)
	

	fmt.Printf("接收的sql语句:%s\n", sql)
}

那么，在执行db.First时才会和数据库建立真正的连接。

我们上期也提到过，gorm是依赖于golang的database/sql标准库的。所以，gorm的数据库连接的建立和释放是在该库中的。具体代码在标准库database/sql/sql.go的DB.conn函数中。这个相关的代码是在gorm/callbacks/query.go文件中的Query函数中执行的：

go 复制代码

func Query(db *gorm.DB) {
	if db.Error == nil {
		BuildQuerySQL(db)

		if !db.DryRun && db.Error == nil {
			rows, err := db.Statement.ConnPool.QueryContext(db.Statement.Context, db.Statement.SQL.String(), db.Statement.Vars...)
			if err != nil {
				db.AddError(err)
				return
			}
			defer func() {
				db.AddError(rows.Close())
			}()
			gorm.Scan(rows, db, 0)
		}
	}
}

我们看第6行的db.Statement.ConnPool是sql.DB对象，sql.DB对象的QueryContext函数继续调用了sql.DB 的query函数，如下：

go 复制代码

func (db *DB) query(ctx context.Context, query string, args []any, strategy connReuseStrategy) (*Rows, error) {
	dc, err := db.conn(ctx, strategy)
	if err != nil {
		return nil, err
	}

	return db.queryDC(ctx, nil, dc, dc.releaseConn, query, args)
}

这里的db.conn函数就是和数据库建立的地方。接下来，我们详细看该函数的实现。由于该函数代码比较多，大家有兴趣可以查看对应的源码。这里我们分析一下该函数的直接建立连接、空闲连接池以及最大连接数限制这三个方面的策略。

二、直接建立连接

最简单的方式就是每执行一次sql语句就和数据库建立一次连接，执行完毕就释放掉该链接。然后，再有sql语句执行，就再建立连接。如果有多个sql语句的查询，就会建立多个数据库连接。如下：

go 复制代码

func main() {
	dsn := "username:password@tcp(127.0.0.1:3306)/test01?charset=utf8mb4&parseTime=True&loc=Local&timeout=1000ms"

	db, _ := gorm.Open(mysql.Open(dsn), nil)

	var row MTest

	db.First(&row)

    db.First(&row)
	
	fmt.Printf("接收的sql语句:%s\n", sql)
}

上面代码中有2次查询，那么就会建立2个数据库连接。

我们知道和数据库建立连接是TCP连接，每次都新建立一个链接，效率难免会很低（时间和机器资源）。那么是不是可以复用连接呢？

三、空闲连接池

在sql.DB的结构中，有个freeConn字段，如下：

go 复制代码

type DB struct {
	freeConn     []*driverConn 
}

这个字段就是用来缓存空闲连接的。这个逻辑是当一个sql执行完毕后，其对应的连接并不会立即关闭，而是放入到freeConn中；等再有sql执行时，直接从freeConn中复用已有的数据库连接，而非再建立新的连接。如下：

四、控制连接数

当然，如果并发数高的情况下，空闲连接池就起不到作用了，因为建立的连接请求数已经远远大于空闲连接数了。那么，要想不让连接数失控，就需要提供一个最大连接数的限制。当请求建立连接的数量大于这个最大的阈值时，就需要等待。也就是所谓的限流。

在sql.DB结构体中用的字段是maxOpen和numOpen，如下：

go 复制代码

type DB struct {
	numOpen      int    // number of opened and pending open connections
	maxOpen      int                    // <= 0 means unlimited
}

增加了最大连接数限制之后，客户端获取数据库连接的逻辑变成如下这样：

这里是当客户端2再请求连接时，发现连接数已经超过了当前最大连接数，则进入到等待队列进行阻塞等待；当客户端1执行完毕，释放连接时，并不直接放入缓存池，而是直接发送给等待的通道，这样就避免了再次和数据库建立连接。

五、总结

我们再结合上空闲连接池的机制，那么，sql.DB对于连接的复用机制整体如下：

先从空闲连接池中获取。若有空闲连接，则直接使用；否则，进入下一步。
若有最大连接数限制，则判断是否超过了最大连接数，若未超过，则建立新连接；否则，进入到连接等待队列。
建立新连接，执行sql。
释放连接。若连接等待中有等待的请求，则直接给等待的请求复用连接。否则，放入到空闲连接池。

好了，以上就是我们本期要分享的内容，希望对你有所帮助。