HikariCP 连接池不是越大越好:I/O 密集型 Java 服务的数据库容量工程

HikariCP 连接池不是越大越好:I/O 密集型 Java 服务的数据库容量工程

一句话结论:数据库连接是全局共享的稀缺资源。连接池大小应由 DB 的并发容量决定,而不是由应用"想开多少"决定。

版本基线:Spring Boot 3.x + HikariCP 5.x + MySQL 8.0(PostgreSQL 同理)。


1. 连接池 100,为什么 DB 还是被打挂?

一个订单服务,20 个实例,每个 Hikari maximumPoolSize=100:

text 复制代码
应用侧最大连接数 = 20 × 100 = 2,000
MySQL max_connections = 1,000

结果:

  • 连接建立失败,Too many connections;
  • 已经建立的连接互相争抢 DB CPU;
  • Threads_running 飙升,慢查询变多;
  • 应用侧 pending 增加,Tomcat 线程被占满;
  • 扩容实例后,连接总数更多,故障更严重。

连接池不是"应用和 DB 之间的缓冲区",它只是限制并发访问 DB 的闸门。闸门开得比 DB 能承受的还大,等于没有闸门。


2. 先算清楚:连接数到底要多少

2.1 Little's Law

text 复制代码
DB 并发连接数 ≈ 单实例 DB QPS × 单次 DB 持有时间(秒)

示例:

  • 单实例 1,200 QPS;
  • 缓存命中率 90%,回源 DB 120 QPS;
  • 平均查询持有连接 5ms;
  • 平均并发 = 120 × 0.005 = 0.6;
  • P99 50ms,按 3 倍突发:120 × 3 × 0.05 = 18。

所以 Hikari 设 20~30 足够。设 100 只会让更多请求同时压 DB,增加锁竞争和上下文切换。

2.2 全局校验

text 复制代码
实例数 × 每实例最大连接数 ≤ DB max_connections × 0.7

留 30% 给:

  • 运维/备份/监控连接;
  • 批处理/数据同步;
  • 故障切换时的重连风暴;
  • 其他应用共用同一个 DB。

如果算出来不够,优先做:

  1. 降低 DB 持有时间(索引、短事务);
  2. 加缓存,减少回源;
  3. 读写分离;
  4. 分库分表;
  5. 最后才是加连接。

2.3 一个常见误区

网上流传的公式:

text 复制代码
connections = ((core_count × 2) + effective_spindle_count)

它来自磁盘密集型场景,不适用于现代 SSD + 缓存 + 高并发 Web 服务。对 I/O 密集型 Java 服务,更可靠的是:

text 复制代码
连接数 = min(
  Little's Law 估算值 × 安全系数,
  DB 压测得出的最佳并发,
  (max_connections × 0.7) / 实例数
)

然后用压测验证:当连接数继续增加,QPS 不再上升、P99 反而上升,就是超过了最佳点。


3. HikariCP 生产配置

yaml 复制代码
spring:
  datasource:
    hikari:
      maximum-pool-size: 20
      minimum-idle: 20          # 固定池,减少扩缩容抖动;按内存/连接成本权衡
      connection-timeout: 2000  # 拿不到连接快速失败
      validation-timeout: 1000
      idle-timeout: 300000
      max-lifetime: 1200000     # 小于 MySQL wait_timeout
      keepalive-time: 300000
      leak-detection-threshold: 10000
      pool-name: order-db

关键参数解释:

参数 建议 原因
maximum-pool-size 按容量算,常见 10~30 超过 DB 最佳并发只会更慢
minimum-idle 与 max 相同或略低 固定池避免频繁建连
connection-timeout 1~3s 等连接不应无限阻塞
max-lifetime 小于 DB wait_timeout 防止拿到已被 DB 关闭的连接
keepalive-time 5min 左右 保活,降低网络设备断连影响
leak-detection-threshold 10~30s 发现未关闭连接;生产慎设过小

leak-detection-threshold 本身有开销,建议先在预发开启,定位到问题后关闭或调大。


4. 连接是怎么被"偷走"的

4.1 事务包住 RPC

java 复制代码
// 反例:事务持有连接,等待远程调用
@Transactional
public void placeOrder(PlaceOrderCmd cmd) {
    Order order = orderRepository.save(Order.create(cmd));
    inventoryClient.decrease(cmd.skuId(), cmd.qty()); // 可能 500ms
    couponClient.use(cmd.couponId());                 // 可能 300ms
    orderRepository.updateStatus(order.getId(), PAID);
}

在这 800ms 里,数据库连接一直被占着,但 DB 实际上没干活。并发一高,连接池很快耗尽。

正确做法:

java 复制代码
// 1. 本地事务只包 DB 写
@Transactional
public void placeOrder(PlaceOrderCmd cmd) {
    Order order = orderRepository.save(Order.create(cmd));
    outboxRepository.save(OutboxEvent.of("order.created", order.getId(), order.payload()));
}

// 2. 远程调用通过事务消息/Outbox 异步驱动,失败重试 + 幂等

4.2 Open Session in View

yaml 复制代码
spring:
  jpa:
    open-in-view: false

open-in-view=true 会让数据库连接/Session 一直开到视图渲染结束,极大延长持有时间。生产环境建议关闭,并在 Service 层完成 DTO 组装。

4.3 流式查询/大结果集

java 复制代码
// 反例:一次查 100 万行
List<Order> all = orderRepository.findAll();

// 正确:分页/游标
SELECT id, user_id, amount
FROM orders
WHERE id > ?
ORDER BY id
LIMIT 500;

大结果集不仅占连接,还占内存、增加 GC 和序列化开销。

4.4 连接泄漏

java 复制代码
// 反例:手动获取连接未关闭
Connection conn = dataSource.getConnection();
Statement st = conn.createStatement();
st.executeQuery("...");
// 忘记 close

使用 try-with-resources 或 Spring 的 JdbcTemplate/Repository,不要手动管理连接。


5. 慢 SQL:先治理 Top 20

5.1 索引:联合索引的顺序

查询:

sql 复制代码
SELECT id, status, amount, created_at
FROM orders
WHERE user_id = ?
  AND status = ?
ORDER BY created_at DESC
LIMIT 20;

推荐索引:

sql 复制代码
CREATE INDEX idx_orders_user_status_created
ON orders (user_id, status, created_at);

顺序原则:等值条件在前,范围/排序在后 。如果 status 区分度很低,可以把 created_at 提前,具体看执行计划。

5.2 避免索引失效

写法 问题 改法
WHERE DATE(created_at) = '2026-01-01' 函数导致索引失效 created_at >= ? AND created_at < ?
WHERE name LIKE '%abc%' 前导通配符 全文索引/ES/倒排
WHERE status + 1 = 2 表达式 直接比较
WHERE id IN (SELECT ...) 可能物化/低效 JOIN/EXISTS,看计划
隐式类型转换 字符串列传数字 类型一致

5.3 深分页

sql 复制代码
-- 反例:扫描 100 万行再丢弃
SELECT * FROM orders ORDER BY id LIMIT 1000000, 20;

-- 正确:游标分页
SELECT * FROM orders WHERE id > ? ORDER BY id LIMIT 20;

如果必须按非唯一列排序,使用 (sort_col, id) 复合游标,保证稳定分页。

5.4 N+1

java 复制代码
// 反例:1 次查订单 + N 次查用户
List<Order> orders = orderRepo.findByUserId(userId);
for (Order o : orders) {
    User u = userRepo.findById(o.getUserId()); // N 次
}

改法:

  • 批量查询 findByIdIn(ids);
  • JPA @EntityGraph/join fetch;
  • MyBatis 批量 IN;
  • 在缓存层做用户信息聚合。

5.5 批量写入

java 复制代码
jdbcTemplate.batchUpdate(
    "INSERT INTO order_item(order_id, sku_id, qty) VALUES (?, ?, ?)",
    items,
    500,
    (ps, item) -> {
        ps.setLong(1, item.orderId());
        ps.setLong(2, item.skuId());
        ps.setInt(3, item.qty());
    }
);

MySQL JDBC URL 加:

text 复制代码
rewriteBatchedStatements=true

否则批量可能仍是一条条发送。


6. 事务边界:连接持有时间的第一杀手

下游 RPC MySQL Hikari Tomcat 线程 下游 RPC MySQL Hikari Tomcat 线程 #mermaid-svg-kvj6VbaZDepyg2xt{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-kvj6VbaZDepyg2xt .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-kvj6VbaZDepyg2xt .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-kvj6VbaZDepyg2xt .error-icon{fill:#552222;}#mermaid-svg-kvj6VbaZDepyg2xt .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-kvj6VbaZDepyg2xt .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-kvj6VbaZDepyg2xt .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-kvj6VbaZDepyg2xt .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-kvj6VbaZDepyg2xt .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-kvj6VbaZDepyg2xt .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-kvj6VbaZDepyg2xt .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-kvj6VbaZDepyg2xt .marker{fill:#333333;stroke:#333333;}#mermaid-svg-kvj6VbaZDepyg2xt .marker.cross{stroke:#333333;}#mermaid-svg-kvj6VbaZDepyg2xt svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-kvj6VbaZDepyg2xt p{margin:0;}#mermaid-svg-kvj6VbaZDepyg2xt .actor{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-kvj6VbaZDepyg2xt text.actor>tspan{fill:black;stroke:none;}#mermaid-svg-kvj6VbaZDepyg2xt .actor-line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);}#mermaid-svg-kvj6VbaZDepyg2xt .innerArc{stroke-width:1.5;stroke-dasharray:none;}#mermaid-svg-kvj6VbaZDepyg2xt .messageLine0{stroke-width:1.5;stroke-dasharray:none;stroke:#333;}#mermaid-svg-kvj6VbaZDepyg2xt .messageLine1{stroke-width:1.5;stroke-dasharray:2,2;stroke:#333;}#mermaid-svg-kvj6VbaZDepyg2xt #arrowhead path{fill:#333;stroke:#333;}#mermaid-svg-kvj6VbaZDepyg2xt .sequenceNumber{fill:white;}#mermaid-svg-kvj6VbaZDepyg2xt #sequencenumber{fill:#333;}#mermaid-svg-kvj6VbaZDepyg2xt #crosshead path{fill:#333;stroke:#333;}#mermaid-svg-kvj6VbaZDepyg2xt .messageText{fill:#333;stroke:none;}#mermaid-svg-kvj6VbaZDepyg2xt .labelBox{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-kvj6VbaZDepyg2xt .labelText,#mermaid-svg-kvj6VbaZDepyg2xt .labelText>tspan{fill:black;stroke:none;}#mermaid-svg-kvj6VbaZDepyg2xt .loopText,#mermaid-svg-kvj6VbaZDepyg2xt .loopText>tspan{fill:black;stroke:none;}#mermaid-svg-kvj6VbaZDepyg2xt .loopLine{stroke-width:2px;stroke-dasharray:2,2;stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);}#mermaid-svg-kvj6VbaZDepyg2xt .note{stroke:#aaaa33;fill:#fff5ad;}#mermaid-svg-kvj6VbaZDepyg2xt .noteText,#mermaid-svg-kvj6VbaZDepyg2xt .noteText>tspan{fill:black;stroke:none;}#mermaid-svg-kvj6VbaZDepyg2xt .activation0{fill:#f4f4f4;stroke:#666;}#mermaid-svg-kvj6VbaZDepyg2xt .activation1{fill:#f4f4f4;stroke:#666;}#mermaid-svg-kvj6VbaZDepyg2xt .activation2{fill:#f4f4f4;stroke:#666;}#mermaid-svg-kvj6VbaZDepyg2xt .actorPopupMenu{position:absolute;}#mermaid-svg-kvj6VbaZDepyg2xt .actorPopupMenuPanel{position:absolute;fill:#ECECFF;box-shadow:0px 8px 16px 0px rgba(0,0,0,0.2);filter:drop-shadow(3px 5px 2px rgb(0 0 0 / 0.4));}#mermaid-svg-kvj6VbaZDepyg2xt .actor-man line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;}#mermaid-svg-kvj6VbaZDepyg2xt .actor-man circle,#mermaid-svg-kvj6VbaZDepyg2xt line{stroke:hsl(259.6261682243, 59.7765363128%, 87.9019607843%);fill:#ECECFF;stroke-width:2px;}#mermaid-svg-kvj6VbaZDepyg2xt :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 连接被占用 300ms+,DB 实际工作可能只有 5ms getConnection() 1 conn 2 BEGIN 3 INSERT order 4 扣库存(300ms) 5 OK 6 UPDATE order 7 COMMIT 8 close() 9

原则:

  • 事务内只做 DB 操作;
  • 事务尽量短(毫秒级);
  • 远程调用放在事务外,用 Outbox/Saga 保证最终一致;
  • 查询用只读事务,必要时走从库;
  • 设置 @Transactional(timeout = 3),防止异常长事务。

7. 读写分离:别让从库延迟坑了用户

7.1 路由

java 复制代码
public enum RouteKey { MASTER, REPLICA }

public class RoutingDataSource extends AbstractRoutingDataSource {
    @Override
    protected Object determineCurrentLookupKey() {
        return RouteContext.get(); // MASTER / REPLICA
    }
}
  • 写操作、强一致读走主库;
  • 普通列表/详情读走从库;
  • 用户刚写完立刻读的场景,强制走主库(read-your-writes);
  • 监控 Seconds_Behind_Master,延迟超阈值自动切主库。

7.2 不要把所有读都扔给从库

从库也会被压垮,而且复制延迟会导致"刚下单查不到"。按业务一致性需求路由,不要一刀切。


8. 分库分表:最后的手段

什么时候考虑:

  • 单表数据量导致索引/DDL/备份不可控;
  • 单库写入/连接数达到上限;
  • 业务能接受分片键带来的查询限制。

代价:

  • 跨分片查询/分页/聚合复杂;
  • 分布式事务;
  • 全局 ID;
  • 扩容/迁移;
  • 运维复杂度上升。

优先顺序:索引 → 缓存 → 读写分离 → 归档 → 分区 → 分库分表。 不要一上来就分片。


9. 不要把数据库当队列

sql 复制代码
-- 高并发下容易成为热点/锁竞争
SELECT * FROM task WHERE status = 'NEW' ORDER BY id LIMIT 1 FOR UPDATE;

低吞吐任务队列可以用 FOR UPDATE SKIP LOCKED,但高并发、削峰、重试、死信等需求,应该用 MQ。DB 当队列会:

  • 占用连接;
  • 行锁竞争;
  • 状态轮询浪费 CPU;
  • 难以水平扩展。

10. 指标与告警

指标 来源 告警
hikaricp_connections_active Micrometer 持续 > 80%
hikaricp_connections_pending Micrometer > 0 持续 1 分钟
hikaricp_connections_acquire_seconds Micrometer P99 > 100ms
hikaricp_connections_timeout_total Micrometer 任何增长
mysql_threads_running MySQL 持续 > CPU 核数 × 2
mysql_slow_queries MySQL 突增
innodb_row_lock_time MySQL 明显上升
seconds_behind_master MySQL > 1s
慢 SQL Top N APM/日志 每日 review

11. 常见误区

误区 后果 正确做法
连接池 100 起步 DB 连接耗尽、上下文切换 按容量算,常见 10~30
每个实例都按 DB 上限配 总连接数超限 全局校验,留 30%
事务包 RPC 连接被长时间占用 短事务 + Outbox
open-in-view=true 连接持有到视图渲染 关闭,Service 层组装 DTO
深分页 扫描大量行 游标分页
N+1 查询 DB QPS 放大 批量/关联查询
读写分离一刀切 从库延迟、刚写读不到 按一致性路由
DB 当队列 锁竞争、难扩展 MQ + 幂等消费
只加索引不看执行计划 索引失效 EXPLAIN ANALYZE 验证

12. Checklist

text 复制代码
[ ] 用 Little's Law 算过单实例 DB 并发
[ ] 实例数 × 池大小 ≤ max_connections × 0.7
[ ] connectionTimeout 1~3s,不无限等
[ ] maxLifetime < DB wait_timeout
[ ] open-in-view=false
[ ] 事务内无 RPC/MQ/文件 IO
[ ] 慢 SQL Top 20 有治理计划
[ ] 深分页改游标,N+1 改批量
[ ] 读写分离按一致性路由,监控复制延迟
[ ] 连接池 pending/acquire/timeout 有告警
[ ] 分库分表是最后手段,有迁移方案

上一篇 :04 · 缓存

下一篇 :06 · 事务:短事务与 Outbox

相关推荐
学长毕设27 分钟前
基于SpringBoot社区快递驿站物流配送系统-附源码
java·spring boot·后端
Flynt40 分钟前
Java4Shell 实测:EPYC 一跑就中招,关掉 Base64 硬件加速,1KB 解码慢 14 倍
java·安全·性能优化
Resean02231 小时前
Spring 源码分析(七)AOP 原理(上):代理的创建
java·后端·spring
Tangq一定可以的1 小时前
Spring AI Advisor 详解 - 给大模型调用加上“切面“,日志/过滤/记忆一键搞定
java·后端·spring
FungLeo1 小时前
FengCMS · PHP+MySQL 升级实录 ·三重 MD5 迁移 password_hash:老站密码怎么无痛升级
mysql·php·哈希算法·密码安全·fengcms
小巫编程室2 小时前
我造了一个 Java 能力包:让 AI 直接调用你的业务代码
java·前端·后端
雾隐隐o2 小时前
优搭校园 01|项目概览、技术选型与初始化
spring boot·mysql·vue
小乖写代码2 小时前
消息、回执与媒体 · msgstore.db · Messages, Receipts, and Media
数据库·媒体·whatsapp·消息回执
深入云栈2 小时前
Netty 4.2.x 源码深度解析 (二十四):池化内存分配 —— PoolArena、PoolChunk 与 PoolSubpage
java·后端·架构