01_PostgreSQL 体系架构全解 ------ 进程模型、共享内存、MVCC 与 WAL 预写日志深入
系列定位 :《PostgreSQL 数据库全栈运维实战系列》第 01 篇,与《MySQL 数据库全栈运维实战系列》同构对标(对标 MySQL 01 体系架构全解)。适用版本 :PostgreSQL 15/16(14 及以下差异随文标注)。官方文档:PostgreSQL 15/16 Documentation、Chapter 18 Server Setup and Operation、Chapter 19 Server Configuration。
一、PostgreSQL 总体架构(一张图看懂)
PostgreSQL 与 MySQL 最大的架构差异一句话说清:MySQL 是"单进程 + 多线程",一个 mysqld 进程里开线程池服务所有连接;PostgreSQL 是"主进程 + 多进程",postmaster 监听到连接后 fork 出一个独立 backend 进程专门服务这个会话。没有存储引擎可插拔这一层,PG 的"存储引擎"只有一个------堆表(heap access method),扩展能力靠插件式 access method(GiST、GIN、BRIN)与扩展包。

图 1
| 层 | 职责 | 类比 MySQL |
|---|---|---|
| postmaster 主进程 | 监听端口、认证、fork backend、监控子进程 | mysqld 主进程(无 fork,用线程) |
| backend 进程 | 每个会话独占一个进程,执行 SQL | mysqld 连接线程 |
| 后台辅助进程 | 刷脏页、写 WAL、checkpoint、autovacuum | InnoDB master thread、purge thread、page cleaner |
| 共享内存 | 数据页缓存、锁表、提交状态 | innodb_buffer_pool |
| 磁盘文件 | 表数据、WAL、提交日志 | ibd、redo log、binlog |
核心结论:PG 没有"可插拔存储引擎"这一层概念,InnoDB 那种一个实例混用多引擎的玩法在 PG 里不存在;PG 的扩展走的是 access method 与扩展包(extension)路线。
二、进程架构:postmaster 与后台进程(官方:Database Cluster Process)

图 2
| 进程 | 职责 | 类比 MySQL |
|---|---|---|
| postmaster | 实例入口,崩溃后负责重启子进程 | mysqld 主进程 |
| backend | 每个连接一个进程,执行解析、规划、执行 | 连接线程 |
| checkpointer | 触发 checkpoint,把脏页刷盘并重置 WAL 位点 | InnoDB checkpoint 线程 |
| bgwriter | 后台批量刷脏页,避免前台 IO 抖动 | InnoDB page cleaner |
| walwriter | 把 WAL 缓冲区批量写盘 | InnoDB log writer 线程 |
| autovacuum launcher worker | 自动清理死元组、分析统计信息 | InnoDB purge thread + 定期 OPTIMIZE |
| walsender | 主库向备库流式发送 WAL | binlog dump 线程 |
-- 查看当前实例所有后端会话(解释:pg_stat_activity 是运维第一视图,类比 SHOW PROCESSLIST)
SELECT pid, usename, state, query_start, query
FROM pg_stat_activity
WHERE datname IS NOT NULL
ORDER BY query_start;
-- 查看进程总数配置(解释:max_connections 默认 100,每个连接一份进程内存)
SHOW max_connections;
-- 查看当前会话自己的进程号(解释:类比 SELECT CONNECTION_ID())
SELECT pg_backend_pid();
PG 15 变化:累计统计信息(cumulative stats)从 stats collector 进程搬进了共享内存,15 开始 stats collector 后台进程被移除,统计视图不再依赖该进程,重启后统计更稳定。
三、连接管理与会话
| 要点 | 说明 | 类比 MySQL |
|---|---|---|
| 默认端口 | 5432 | 3306 |
| 认证方式 | pg_hba.conf 白名单 + scram-sha-256(10 起默认) | mysql.user 账号 + 认证插件 |
| 连接模型 | 一连接一进程,进程开销高于线程 | 一连接一线程 |
| 连接池 | 生产用 PgBouncer(会话级、事务级) | ProxySQL、HikariCP |
| 空闲超时 | idle_in_transaction_session_timeout 建议设置 | wait_timeout |
-- 查看最大连接数与已用连接(解释:连接数规划第一视图)
SELECT count(*) AS used, (SELECT setting::int FROM pg_settings WHERE name='max_connections') AS max
FROM pg_stat_activity;
-- 杀掉某个挂死会话(解释:类比 KILL <id>,注意是 TERM 信号级别)
SELECT pg_terminate_backend(pid)
FROM pg_stat_activity
WHERE state = 'idle in transaction'
AND now() - query_start > interval '10 minutes';
四、SQL 执行流程:解析 → 分析 → 重写 → 规划 → 执行

图 3
| 阶段 | 职责 | 调优入口 |
|---|---|---|
| Parser | 生成语法解析树 | SQL 写法规范 |
| Analyzer | 校验表、列是否存在,加载元数据 | 表结构设计 |
| Rewriter | 视图展开为子查询 | 视图复杂度 |
| Planner | 代价估算、选索引、定连接顺序 | EXPLAIN ANALYZE |
| Executor | 火山模型逐节点取数 | 索引命中率、缓冲命中 |
-- 查看执行计划(解释:EXPLAIN 是优化器决策视图,类比 MySQL EXPLAIN)
EXPLAIN SELECT * FROM t_order WHERE order_id = 20261009;
-- 真实执行并打印每行耗时(解释:ANALYZE 版本会真正跑一遍 SQL)
EXPLAIN ANALYZE SELECT * FROM t_order WHERE order_id = 20261009;
五、内存结构:shared_buffers 与 work_mem

图 4
| 内存区 | 职责 | 类比 MySQL |
|---|---|---|
| shared_buffers | 共享数据页缓存,生产建议物理内存 25% 左右 | innodb_buffer_pool_size |
| WAL buffer | WAL 记录缓冲 | innodb_log_buffer_size |
| work_mem | 单个排序、哈希表的内存上限 | sort_buffer_size |
| maintenance_work_mem | CREATE INDEX、VACUUM 等维护操作用 | 无直接对应,类似 myisam_sort_buffer |
-- 查看关键内存参数(解释:调参入口在 postgresql.conf,这里只读确认)
SHOW shared_buffers;
SHOW work_mem;
SHOW maintenance_work_mem;
六、MVCC:多版本并发控制(PG 与 MySQL 哲学差异最大处)
PG 的 MVCC 不在引擎内部维护回滚段链,而是在每一行元组头上记录两个系统字段:xmin(插入该行的事务号)与 xmax(删除或更新该行的事务号,0 表示未删除)。查询时根据快照(snapshot)判断哪些版本对当前事务可见。旧版本永远留在原地,直到 VACUUM 把死元组标记为可重用------这就是"表膨胀"的根源。

图 5
| 机制 | PG 实现 | 类比 MySQL InnoDB |
|---|---|---|
| 版本存放 | 旧版本与新版本同在堆表中 | 旧版本在 undo 回滚段,聚合成版本链 |
| 快照 | 事务号区间 + 活跃事务列表 | readview |
| 清理 | VACUUM 物理标记死元组(后台 purge) | purge thread 清理 undo、数据原位 |
| 副作用 | 不清理会膨胀,表文件越来越大 | undo 截断后即回收,膨胀少 |
-- 查看表的可见性与膨胀粗判(解释:pg_stat_user_tables 的 n_dead_tup 是核心)
SELECT relname, n_live_tup, n_dead_tup, last_autovacuum
FROM pg_stat_user_tables
ORDER BY n_dead_tup DESC
LIMIT 10;
七、WAL:预写日志(崩溃恢复与复制的共同基石)
WAL(Write-Ahead Logging)是 PG 唯一的事务日志:任何数据页修改先写 WAL 再写数据页,崩溃后重放 WAL 即可恢复。它同时承担两个职责------崩溃恢复(redo)与主从复制流(从主库发给备库的也是 WAL)。MySQL 里 redo log 与 binlog 是两份日志,PG 里只有一份 WAL。

图 6
| 要点 | 说明 | 类比 MySQL |
|---|---|---|
| 目录 | pg_wal(10 以前叫 pg_xlog) | ib_logfile redo log |
| wal_level | minimal、replica(默认)、logical | 无直接对应,binlog 格式独立 |
| 段大小 | 默认 16MB,initdb 时可设 | redo 文件大小自定 |
| 复制 | walsender 把 WAL 流式发给备库 | binlog dump 线程 |
| 归档 | archive_mode + archive_command | binlog 归档(PITR 前提) |
-- 查看 WAL 级别与当前 WAL 状态(解释:复制、PITR 都从这里开始)
SHOW wal_level; -- 生产 replica 或 logical
SHOW archive_mode;
SELECT pg_wal_lsn_diff(pg_current_wal_lsn(), '0/0') AS wal_size_bytes;
八、事务与隔离级别
| 隔离级别 | 脏读 | 不可重复读 | 幻读 | 说明 |
|---|---|---|---|---|
| read uncommitted | 否(PG 中等价于 read committed) | 可能 | 可能 | 极少用 |
| read committed | 否 | 可能 | 可能 | PG 默认 |
| repeatable read | 否 | 否 | 快照隔离下基本避免 | 真实快照隔离 |
| serializable | 否 | 否 | 否 | SSI 可串行化快照隔离 |
-- 查看与设置隔离级别(解释:PG 默认 read committed,比 MySQL RR 默认值要低)
SHOW default_transaction_isolation;
BEGIN TRANSACTION ISOLATION LEVEL REPEATABLE READ;
-- 查看当前活动事务与锁(解释:运维高频)
SELECT pid, now() - xact_start AS xact_age, state, query
FROM pg_stat_activity
WHERE state = 'active' AND xact_start IS NOT NULL
ORDER BY xact_age DESC;
九、PG 15/16 新特性速览(官方:Release Notes)
| 版本 | 特性 | 说明 |
|---|---|---|
| 15 | SQL MERGE 命令 | 标准 MERGE,一条语句完成存在则更新、不存在则插入 |
| 15 | 逻辑复制行过滤 | 发布端可按 WHERE 条件过滤行 |
| 15 | 统计信息移入共享内存 | stats collector 进程移除,统计更稳 |
| 16 | 逻辑复制可从备库发出 | walsender 跑在 standby 上,减轻主库压力 |
| 16 | SQL JSON 标准函数 | JSON_QUERY、JSON_VALUE 等标准语法 |
| 16 | pg_stat_io I/O 统计视图 | 新增 I/O 维度诊断视图 |
| 16 | B-tree 索引去重压缩 | 重复键值合并存储,索引体积下降 |
十、本文要点速记
- 进程模型:postmaster + 一连接一 backend 进程,没有存储引擎可插拔层。
- MVCC 哲学差异:旧版本留在堆表里靠 VACUUM 清理,不清就膨胀。
- WAL 一身二职:崩溃恢复 + 复制流,MySQL 里 redo 与 binlog 的职责在 PG 里由 WAL 统一承担。
- 默认隔离级别是 read committed,与 MySQL 默认 repeatable read 不同,迁移应用要核对。
- 15/16 关注点:统计信息进共享内存、逻辑复制增强、pg_stat_io、MERGE。
十一、踩坑记录(实测汇总)
| # | 坑 | 现象 | 解决 |
|---|---|---|---|
| 1 | 用 MySQL 思维理解 MVCC | 大更新后表文件暴涨,查询反而变慢 | 执行 VACUUM(或 VACUUM FULL 锁表更彻底),并查 n_dead_tup |
| 2 | max_connections 开太大 | 内存被每个 backend 的本地内存吃光 | 生产用 PgBouncer 连接池,数据库层连接数压到 100~500 |
| 3 | 以为 PG 也有 undo 表空间 | 到处找回滚段、找不到对应参数 | PG 没有独立 undo,旧版本在堆表,膨胀即清理问题 |
| 4 | 隔离级别迁移漏改 | MySQL RR 应用迁到 PG 默认 RC,出现幻读类差异 | 明确设置 default_transaction_isolation 或显式 BEGIN |
| 5 | 把 pg_xlog 当旧路径 | 老教程里改 pg_xlog 报不存在 | 10 起已改名 pg_wal,pg_xact 是提交状态目录 |
| 6 | 以为 stats collector 挂了导致无统计 | 监控里看不到该进程以为故障 | 15 起 stats collector 进程已移除,统计在共享内存,属正常 |
| 7 | 连接 5432 被拒 | psql 连不上、无报错细节 | 先查 pg_hba.conf 是否放行来源 IP,再查 postgresql.conf 的 listen_addresses |
十二、参考资料(官方正式文档)
| 主题 | 官方链接 |
|---|---|
| PostgreSQL 16 官方文档 | https://www.postgresql.org/docs/16/index.html |
| PostgreSQL 15 官方文档 | https://www.postgresql.org/docs/15/index.html |
| 数据库集群管理(后台进程) | https://www.postgresql.org/docs/15/runtime.html |
| 多版本并发控制 MVCC | https://www.postgresql.org/docs/15/mvcc.html |
| WAL 预写日志 | https://www.postgresql.org/docs/15/wal.html |
| PostgreSQL 15 Release Notes | https://www.postgresql.org/docs/15/release-15.html |
| PostgreSQL 16 Release Notes | https://www.postgresql.org/docs/16/release-16.html |
本文章属于《PostgreSQL 数据库全栈运维实战系列》基础与架构篇。欢迎收藏、交流。