HikariCP 连接池不是越大越好:I/O 密集型 Java 服务的数据库容量工程
一句话结论:数据库连接是全局共享的稀缺资源。连接池大小应由 DB 的并发容量决定,而不是由应用"想开多少"决定。
版本基线:Spring Boot 3.x + HikariCP 5.x + MySQL 8.0(PostgreSQL 同理)。
1. 连接池 100,为什么 DB 还是被打挂?
一个订单服务,20 个实例,每个 Hikari maximumPoolSize=100:
text
应用侧最大连接数 = 20 × 100 = 2,000
MySQL max_connections = 1,000
结果:
- 连接建立失败,
Too many connections; - 已经建立的连接互相争抢 DB CPU;
Threads_running飙升,慢查询变多;- 应用侧
pending增加,Tomcat 线程被占满; - 扩容实例后,连接总数更多,故障更严重。
连接池不是"应用和 DB 之间的缓冲区",它只是限制并发访问 DB 的闸门。闸门开得比 DB 能承受的还大,等于没有闸门。
2. 先算清楚:连接数到底要多少
2.1 Little's Law
text
DB 并发连接数 ≈ 单实例 DB QPS × 单次 DB 持有时间(秒)
示例:
- 单实例 1,200 QPS;
- 缓存命中率 90%,回源 DB 120 QPS;
- 平均查询持有连接 5ms;
- 平均并发 =
120 × 0.005 = 0.6; - P99 50ms,按 3 倍突发:
120 × 3 × 0.05 = 18。
所以 Hikari 设 20~30 足够。设 100 只会让更多请求同时压 DB,增加锁竞争和上下文切换。
2.2 全局校验
text
实例数 × 每实例最大连接数 ≤ DB max_connections × 0.7
留 30% 给:
- 运维/备份/监控连接;
- 批处理/数据同步;
- 故障切换时的重连风暴;
- 其他应用共用同一个 DB。
如果算出来不够,优先做:
- 降低 DB 持有时间(索引、短事务);
- 加缓存,减少回源;
- 读写分离;
- 分库分表;
- 最后才是加连接。
2.3 一个常见误区
网上流传的公式:
text
connections = ((core_count × 2) + effective_spindle_count)
它来自磁盘密集型场景,不适用于现代 SSD + 缓存 + 高并发 Web 服务。对 I/O 密集型 Java 服务,更可靠的是:
text
连接数 = min(
Little's Law 估算值 × 安全系数,
DB 压测得出的最佳并发,
(max_connections × 0.7) / 实例数
)
然后用压测验证:当连接数继续增加,QPS 不再上升、P99 反而上升,就是超过了最佳点。
3. HikariCP 生产配置
yaml
spring:
datasource:
hikari:
maximum-pool-size: 20
minimum-idle: 20 # 固定池,减少扩缩容抖动;按内存/连接成本权衡
connection-timeout: 2000 # 拿不到连接快速失败
validation-timeout: 1000
idle-timeout: 300000
max-lifetime: 1200000 # 小于 MySQL wait_timeout
keepalive-time: 300000
leak-detection-threshold: 10000
pool-name: order-db
关键参数解释:
| 参数 | 建议 | 原因 |
|---|---|---|
maximum-pool-size |
按容量算,常见 10~30 | 超过 DB 最佳并发只会更慢 |
minimum-idle |
与 max 相同或略低 | 固定池避免频繁建连 |
connection-timeout |
1~3s | 等连接不应无限阻塞 |
max-lifetime |
小于 DB wait_timeout |
防止拿到已被 DB 关闭的连接 |
keepalive-time |
5min 左右 | 保活,降低网络设备断连影响 |
leak-detection-threshold |
10~30s | 发现未关闭连接;生产慎设过小 |
leak-detection-threshold本身有开销,建议先在预发开启,定位到问题后关闭或调大。
4. 连接是怎么被"偷走"的
4.1 事务包住 RPC
java
// 反例:事务持有连接,等待远程调用
@Transactional
public void placeOrder(PlaceOrderCmd cmd) {
Order order = orderRepository.save(Order.create(cmd));
inventoryClient.decrease(cmd.skuId(), cmd.qty()); // 可能 500ms
couponClient.use(cmd.couponId()); // 可能 300ms
orderRepository.updateStatus(order.getId(), PAID);
}
在这 800ms 里,数据库连接一直被占着,但 DB 实际上没干活。并发一高,连接池很快耗尽。
正确做法:
java
// 1. 本地事务只包 DB 写
@Transactional
public void placeOrder(PlaceOrderCmd cmd) {
Order order = orderRepository.save(Order.create(cmd));
outboxRepository.save(OutboxEvent.of("order.created", order.getId(), order.payload()));
}
// 2. 远程调用通过事务消息/Outbox 异步驱动,失败重试 + 幂等
4.2 Open Session in View
yaml
spring:
jpa:
open-in-view: false
open-in-view=true 会让数据库连接/Session 一直开到视图渲染结束,极大延长持有时间。生产环境建议关闭,并在 Service 层完成 DTO 组装。
4.3 流式查询/大结果集
java
// 反例:一次查 100 万行
List<Order> all = orderRepository.findAll();
// 正确:分页/游标
SELECT id, user_id, amount
FROM orders
WHERE id > ?
ORDER BY id
LIMIT 500;
大结果集不仅占连接,还占内存、增加 GC 和序列化开销。
4.4 连接泄漏
java
// 反例:手动获取连接未关闭
Connection conn = dataSource.getConnection();
Statement st = conn.createStatement();
st.executeQuery("...");
// 忘记 close
使用 try-with-resources 或 Spring 的 JdbcTemplate/Repository,不要手动管理连接。
5. 慢 SQL:先治理 Top 20
5.1 索引:联合索引的顺序
查询:
sql
SELECT id, status, amount, created_at
FROM orders
WHERE user_id = ?
AND status = ?
ORDER BY created_at DESC
LIMIT 20;
推荐索引:
sql
CREATE INDEX idx_orders_user_status_created
ON orders (user_id, status, created_at);
顺序原则:等值条件在前,范围/排序在后 。如果 status 区分度很低,可以把 created_at 提前,具体看执行计划。
5.2 避免索引失效
| 写法 | 问题 | 改法 |
|---|---|---|
WHERE DATE(created_at) = '2026-01-01' |
函数导致索引失效 | created_at >= ? AND created_at < ? |
WHERE name LIKE '%abc%' |
前导通配符 | 全文索引/ES/倒排 |
WHERE status + 1 = 2 |
表达式 | 直接比较 |
WHERE id IN (SELECT ...) |
可能物化/低效 | JOIN/EXISTS,看计划 |
| 隐式类型转换 | 字符串列传数字 | 类型一致 |
5.3 深分页
sql
-- 反例:扫描 100 万行再丢弃
SELECT * FROM orders ORDER BY id LIMIT 1000000, 20;
-- 正确:游标分页
SELECT * FROM orders WHERE id > ? ORDER BY id LIMIT 20;
如果必须按非唯一列排序,使用 (sort_col, id) 复合游标,保证稳定分页。
5.4 N+1
java
// 反例:1 次查订单 + N 次查用户
List<Order> orders = orderRepo.findByUserId(userId);
for (Order o : orders) {
User u = userRepo.findById(o.getUserId()); // N 次
}
改法:
- 批量查询
findByIdIn(ids); - JPA
@EntityGraph/join fetch; - MyBatis 批量
IN; - 在缓存层做用户信息聚合。
5.5 批量写入
java
jdbcTemplate.batchUpdate(
"INSERT INTO order_item(order_id, sku_id, qty) VALUES (?, ?, ?)",
items,
500,
(ps, item) -> {
ps.setLong(1, item.orderId());
ps.setLong(2, item.skuId());
ps.setInt(3, item.qty());
}
);
MySQL JDBC URL 加:
text
rewriteBatchedStatements=true
否则批量可能仍是一条条发送。
6. 事务边界:连接持有时间的第一杀手
下游 RPC MySQL Hikari Tomcat 线程 下游 RPC MySQL Hikari Tomcat 线程 #mermaid-svg-kvj6VbaZDepyg2xt{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-kvj6VbaZDepyg2xt .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-kvj6VbaZDepyg2xt .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-kvj6VbaZDepyg2xt .error-icon{fill:#552222;}#mermaid-svg-kvj6VbaZDepyg2xt .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-kvj6VbaZDepyg2xt .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-kvj6VbaZDepyg2xt .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-kvj6VbaZDepyg2xt .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-kvj6VbaZDepyg2xt .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-kvj6VbaZDepyg2xt .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-kvj6VbaZDepyg2xt .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-kvj6VbaZDepyg2xt .marker{fill:#333333;stroke:#333333;}#mermaid-svg-kvj6VbaZDepyg2xt .marker.cross{stroke:#333333;}#mermaid-svg-kvj6VbaZDepyg2xt svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-kvj6VbaZDepyg2xt p{margin:0;}#mermaid-svg-kvj6VbaZDepyg2xt .actor{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-kvj6VbaZDepyg2xt text.actor>tspan{fill:black;stroke:none;}#mermaid-svg-kvj6VbaZDepyg2xt .actor-line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);}#mermaid-svg-kvj6VbaZDepyg2xt .innerArc{stroke-width:1.5;stroke-dasharray:none;}#mermaid-svg-kvj6VbaZDepyg2xt .messageLine0{stroke-width:1.5;stroke-dasharray:none;stroke:#333;}#mermaid-svg-kvj6VbaZDepyg2xt .messageLine1{stroke-width:1.5;stroke-dasharray:2,2;stroke:#333;}#mermaid-svg-kvj6VbaZDepyg2xt #arrowhead path{fill:#333;stroke:#333;}#mermaid-svg-kvj6VbaZDepyg2xt .sequenceNumber{fill:white;}#mermaid-svg-kvj6VbaZDepyg2xt #sequencenumber{fill:#333;}#mermaid-svg-kvj6VbaZDepyg2xt #crosshead path{fill:#333;stroke:#333;}#mermaid-svg-kvj6VbaZDepyg2xt .messageText{fill:#333;stroke:none;}#mermaid-svg-kvj6VbaZDepyg2xt .labelBox{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-kvj6VbaZDepyg2xt .labelText,#mermaid-svg-kvj6VbaZDepyg2xt .labelText>tspan{fill:black;stroke:none;}#mermaid-svg-kvj6VbaZDepyg2xt .loopText,#mermaid-svg-kvj6VbaZDepyg2xt .loopText>tspan{fill:black;stroke:none;}#mermaid-svg-kvj6VbaZDepyg2xt .loopLine{stroke-width:2px;stroke-dasharray:2,2;stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);}#mermaid-svg-kvj6VbaZDepyg2xt .note{stroke:#aaaa33;fill:#fff5ad;}#mermaid-svg-kvj6VbaZDepyg2xt .noteText,#mermaid-svg-kvj6VbaZDepyg2xt .noteText>tspan{fill:black;stroke:none;}#mermaid-svg-kvj6VbaZDepyg2xt .activation0{fill:#f4f4f4;stroke:#666;}#mermaid-svg-kvj6VbaZDepyg2xt .activation1{fill:#f4f4f4;stroke:#666;}#mermaid-svg-kvj6VbaZDepyg2xt .activation2{fill:#f4f4f4;stroke:#666;}#mermaid-svg-kvj6VbaZDepyg2xt .actorPopupMenu{position:absolute;}#mermaid-svg-kvj6VbaZDepyg2xt .actorPopupMenuPanel{position:absolute;fill:#ECECFF;box-shadow:0px 8px 16px 0px rgba(0,0,0,0.2);filter:drop-shadow(3px 5px 2px rgb(0 0 0 / 0.4));}#mermaid-svg-kvj6VbaZDepyg2xt .actor-man line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-kvj6VbaZDepyg2xt .actor-man circle,#mermaid-svg-kvj6VbaZDepyg2xt line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;stroke-width:2px;}#mermaid-svg-kvj6VbaZDepyg2xt :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 连接被占用 300ms+,DB 实际工作可能只有 5ms getConnection() 1 conn 2 BEGIN 3 INSERT order 4 扣库存(300ms) 5 OK 6 UPDATE order 7 COMMIT 8 close() 9
原则:
- 事务内只做 DB 操作;
- 事务尽量短(毫秒级);
- 远程调用放在事务外,用 Outbox/Saga 保证最终一致;
- 查询用只读事务,必要时走从库;
- 设置
@Transactional(timeout = 3),防止异常长事务。
7. 读写分离:别让从库延迟坑了用户
7.1 路由
java
public enum RouteKey { MASTER, REPLICA }
public class RoutingDataSource extends AbstractRoutingDataSource {
@Override
protected Object determineCurrentLookupKey() {
return RouteContext.get(); // MASTER / REPLICA
}
}
- 写操作、强一致读走主库;
- 普通列表/详情读走从库;
- 用户刚写完立刻读的场景,强制走主库(read-your-writes);
- 监控
Seconds_Behind_Master,延迟超阈值自动切主库。
7.2 不要把所有读都扔给从库
从库也会被压垮,而且复制延迟会导致"刚下单查不到"。按业务一致性需求路由,不要一刀切。
8. 分库分表:最后的手段
什么时候考虑:
- 单表数据量导致索引/DDL/备份不可控;
- 单库写入/连接数达到上限;
- 业务能接受分片键带来的查询限制。
代价:
- 跨分片查询/分页/聚合复杂;
- 分布式事务;
- 全局 ID;
- 扩容/迁移;
- 运维复杂度上升。
优先顺序:索引 → 缓存 → 读写分离 → 归档 → 分区 → 分库分表。 不要一上来就分片。
9. 不要把数据库当队列
sql
-- 高并发下容易成为热点/锁竞争
SELECT * FROM task WHERE status = 'NEW' ORDER BY id LIMIT 1 FOR UPDATE;
低吞吐任务队列可以用 FOR UPDATE SKIP LOCKED,但高并发、削峰、重试、死信等需求,应该用 MQ。DB 当队列会:
- 占用连接;
- 行锁竞争;
- 状态轮询浪费 CPU;
- 难以水平扩展。
10. 指标与告警
| 指标 | 来源 | 告警 |
|---|---|---|
hikaricp_connections_active |
Micrometer | 持续 > 80% |
hikaricp_connections_pending |
Micrometer | > 0 持续 1 分钟 |
hikaricp_connections_acquire_seconds |
Micrometer | P99 > 100ms |
hikaricp_connections_timeout_total |
Micrometer | 任何增长 |
mysql_threads_running |
MySQL | 持续 > CPU 核数 × 2 |
mysql_slow_queries |
MySQL | 突增 |
innodb_row_lock_time |
MySQL | 明显上升 |
seconds_behind_master |
MySQL | > 1s |
| 慢 SQL Top N | APM/日志 | 每日 review |
11. 常见误区
| 误区 | 后果 | 正确做法 |
|---|---|---|
| 连接池 100 起步 | DB 连接耗尽、上下文切换 | 按容量算,常见 10~30 |
| 每个实例都按 DB 上限配 | 总连接数超限 | 全局校验,留 30% |
| 事务包 RPC | 连接被长时间占用 | 短事务 + Outbox |
open-in-view=true |
连接持有到视图渲染 | 关闭,Service 层组装 DTO |
| 深分页 | 扫描大量行 | 游标分页 |
| N+1 查询 | DB QPS 放大 | 批量/关联查询 |
| 读写分离一刀切 | 从库延迟、刚写读不到 | 按一致性路由 |
| DB 当队列 | 锁竞争、难扩展 | MQ + 幂等消费 |
| 只加索引不看执行计划 | 索引失效 | EXPLAIN ANALYZE 验证 |
12. Checklist
text
[ ] 用 Little's Law 算过单实例 DB 并发
[ ] 实例数 × 池大小 ≤ max_connections × 0.7
[ ] connectionTimeout 1~3s,不无限等
[ ] maxLifetime < DB wait_timeout
[ ] open-in-view=false
[ ] 事务内无 RPC/MQ/文件 IO
[ ] 慢 SQL Top 20 有治理计划
[ ] 深分页改游标,N+1 改批量
[ ] 读写分离按一致性路由,监控复制延迟
[ ] 连接池 pending/acquire/timeout 有告警
[ ] 分库分表是最后手段,有迁移方案
上一篇 :04 · 缓存
下一篇 :06 · 事务:短事务与 Outbox