PostgreSQL 体系架构全解 —— 进程模型、共享内存、MVCC 与 WAL 预写日志深入

01_PostgreSQL 体系架构全解 ------ 进程模型、共享内存、MVCC 与 WAL 预写日志深入

系列定位 :《PostgreSQL 数据库全栈运维实战系列》第 01 篇,与《MySQL 数据库全栈运维实战系列》同构对标(对标 MySQL 01 体系架构全解)。适用版本 :PostgreSQL 15/16(14 及以下差异随文标注)。官方文档:PostgreSQL 15/16 Documentation、Chapter 18 Server Setup and Operation、Chapter 19 Server Configuration。

一、PostgreSQL 总体架构(一张图看懂)

PostgreSQL 与 MySQL 最大的架构差异一句话说清:MySQL 是"单进程 + 多线程",一个 mysqld 进程里开线程池服务所有连接;PostgreSQL 是"主进程 + 多进程",postmaster 监听到连接后 fork 出一个独立 backend 进程专门服务这个会话。没有存储引擎可插拔这一层,PG 的"存储引擎"只有一个------堆表(heap access method),扩展能力靠插件式 access method(GiST、GIN、BRIN)与扩展包。

图 1

层 职责 类比 MySQL
postmaster 主进程 监听端口、认证、fork backend、监控子进程 mysqld 主进程(无 fork,用线程)
backend 进程 每个会话独占一个进程,执行 SQL mysqld 连接线程
后台辅助进程 刷脏页、写 WAL、checkpoint、autovacuum InnoDB master thread、purge thread、page cleaner
共享内存 数据页缓存、锁表、提交状态 innodb_buffer_pool
磁盘文件 表数据、WAL、提交日志 ibd、redo log、binlog

核心结论:PG 没有"可插拔存储引擎"这一层概念,InnoDB 那种一个实例混用多引擎的玩法在 PG 里不存在;PG 的扩展走的是 access method 与扩展包(extension)路线。

二、进程架构:postmaster 与后台进程(官方:Database Cluster Process)

图 2

进程 职责 类比 MySQL
postmaster 实例入口,崩溃后负责重启子进程 mysqld 主进程
backend 每个连接一个进程,执行解析、规划、执行 连接线程
checkpointer 触发 checkpoint,把脏页刷盘并重置 WAL 位点 InnoDB checkpoint 线程
bgwriter 后台批量刷脏页,避免前台 IO 抖动 InnoDB page cleaner
walwriter 把 WAL 缓冲区批量写盘 InnoDB log writer 线程
autovacuum launcher worker 自动清理死元组、分析统计信息 InnoDB purge thread + 定期 OPTIMIZE
walsender 主库向备库流式发送 WAL binlog dump 线程
复制代码
-- 查看当前实例所有后端会话(解释:pg_stat_activity 是运维第一视图,类比 SHOW PROCESSLIST)
SELECT pid, usename, state, query_start, query
FROM pg_stat_activity
WHERE datname IS NOT NULL
ORDER BY query_start;

-- 查看进程总数配置(解释:max_connections 默认 100,每个连接一份进程内存)
SHOW max_connections;

-- 查看当前会话自己的进程号(解释:类比 SELECT CONNECTION_ID())
SELECT pg_backend_pid();

PG 15 变化:累计统计信息(cumulative stats)从 stats collector 进程搬进了共享内存,15 开始 stats collector 后台进程被移除,统计视图不再依赖该进程,重启后统计更稳定。

三、连接管理与会话

要点 说明 类比 MySQL
默认端口 5432 3306
认证方式 pg_hba.conf 白名单 + scram-sha-256(10 起默认) mysql.user 账号 + 认证插件
连接模型 一连接一进程,进程开销高于线程 一连接一线程
连接池 生产用 PgBouncer(会话级、事务级) ProxySQL、HikariCP
空闲超时 idle_in_transaction_session_timeout 建议设置 wait_timeout
复制代码
-- 查看最大连接数与已用连接(解释:连接数规划第一视图)
SELECT count(*) AS used, (SELECT setting::int FROM pg_settings WHERE name='max_connections') AS max
FROM pg_stat_activity;

-- 杀掉某个挂死会话(解释:类比 KILL <id>,注意是 TERM 信号级别)
SELECT pg_terminate_backend(pid)
FROM pg_stat_activity
WHERE state = 'idle in transaction'
  AND now() - query_start > interval '10 minutes';

四、SQL 执行流程:解析 → 分析 → 重写 → 规划 → 执行

图 3

阶段 职责 调优入口
Parser 生成语法解析树 SQL 写法规范
Analyzer 校验表、列是否存在,加载元数据 表结构设计
Rewriter 视图展开为子查询 视图复杂度
Planner 代价估算、选索引、定连接顺序 EXPLAIN ANALYZE
Executor 火山模型逐节点取数 索引命中率、缓冲命中
复制代码
-- 查看执行计划(解释:EXPLAIN 是优化器决策视图,类比 MySQL EXPLAIN)
EXPLAIN SELECT * FROM t_order WHERE order_id = 20261009;

-- 真实执行并打印每行耗时(解释:ANALYZE 版本会真正跑一遍 SQL)
EXPLAIN ANALYZE SELECT * FROM t_order WHERE order_id = 20261009;

五、内存结构:shared_buffers 与 work_mem

图 4

内存区 职责 类比 MySQL
shared_buffers 共享数据页缓存,生产建议物理内存 25% 左右 innodb_buffer_pool_size
WAL buffer WAL 记录缓冲 innodb_log_buffer_size
work_mem 单个排序、哈希表的内存上限 sort_buffer_size
maintenance_work_mem CREATE INDEX、VACUUM 等维护操作用 无直接对应,类似 myisam_sort_buffer
复制代码
-- 查看关键内存参数(解释:调参入口在 postgresql.conf,这里只读确认)
SHOW shared_buffers;
SHOW work_mem;
SHOW maintenance_work_mem;

六、MVCC:多版本并发控制(PG 与 MySQL 哲学差异最大处)

PG 的 MVCC 不在引擎内部维护回滚段链,而是在每一行元组头上记录两个系统字段:xmin(插入该行的事务号)与 xmax(删除或更新该行的事务号,0 表示未删除)。查询时根据快照(snapshot)判断哪些版本对当前事务可见。旧版本永远留在原地,直到 VACUUM 把死元组标记为可重用------这就是"表膨胀"的根源。

图 5

机制 PG 实现 类比 MySQL InnoDB
版本存放 旧版本与新版本同在堆表中 旧版本在 undo 回滚段,聚合成版本链
快照 事务号区间 + 活跃事务列表 readview
清理 VACUUM 物理标记死元组(后台 purge) purge thread 清理 undo、数据原位
副作用 不清理会膨胀,表文件越来越大 undo 截断后即回收,膨胀少
复制代码
-- 查看表的可见性与膨胀粗判(解释:pg_stat_user_tables 的 n_dead_tup 是核心)
SELECT relname, n_live_tup, n_dead_tup, last_autovacuum
FROM pg_stat_user_tables
ORDER BY n_dead_tup DESC
LIMIT 10;

七、WAL:预写日志(崩溃恢复与复制的共同基石)

WAL(Write-Ahead Logging)是 PG 唯一的事务日志:任何数据页修改先写 WAL 再写数据页,崩溃后重放 WAL 即可恢复。它同时承担两个职责------崩溃恢复(redo)与主从复制流(从主库发给备库的也是 WAL)。MySQL 里 redo log 与 binlog 是两份日志,PG 里只有一份 WAL。

图 6

要点 说明 类比 MySQL
目录 pg_wal(10 以前叫 pg_xlog) ib_logfile redo log
wal_level minimal、replica(默认)、logical 无直接对应,binlog 格式独立
段大小 默认 16MB,initdb 时可设 redo 文件大小自定
复制 walsender 把 WAL 流式发给备库 binlog dump 线程
归档 archive_mode + archive_command binlog 归档(PITR 前提)
复制代码
-- 查看 WAL 级别与当前 WAL 状态(解释:复制、PITR 都从这里开始)
SHOW wal_level;                -- 生产 replica 或 logical
SHOW archive_mode;
SELECT pg_wal_lsn_diff(pg_current_wal_lsn(), '0/0') AS wal_size_bytes;

八、事务与隔离级别

隔离级别 脏读 不可重复读 幻读 说明
read uncommitted 否(PG 中等价于 read committed) 可能 可能 极少用
read committed 否 可能 可能 PG 默认
repeatable read 否 否 快照隔离下基本避免 真实快照隔离
serializable 否 否 否 SSI 可串行化快照隔离
复制代码
-- 查看与设置隔离级别(解释:PG 默认 read committed,比 MySQL RR 默认值要低)
SHOW default_transaction_isolation;
BEGIN TRANSACTION ISOLATION LEVEL REPEATABLE READ;

-- 查看当前活动事务与锁(解释:运维高频)
SELECT pid, now() - xact_start AS xact_age, state, query
FROM pg_stat_activity
WHERE state = 'active' AND xact_start IS NOT NULL
ORDER BY xact_age DESC;

九、PG 15/16 新特性速览(官方:Release Notes)

版本 特性 说明
15 SQL MERGE 命令 标准 MERGE,一条语句完成存在则更新、不存在则插入
15 逻辑复制行过滤 发布端可按 WHERE 条件过滤行
15 统计信息移入共享内存 stats collector 进程移除,统计更稳
16 逻辑复制可从备库发出 walsender 跑在 standby 上,减轻主库压力
16 SQL JSON 标准函数 JSON_QUERY、JSON_VALUE 等标准语法
16 pg_stat_io I/O 统计视图 新增 I/O 维度诊断视图
16 B-tree 索引去重压缩 重复键值合并存储,索引体积下降

十、本文要点速记

  1. 进程模型:postmaster + 一连接一 backend 进程,没有存储引擎可插拔层。
  2. MVCC 哲学差异:旧版本留在堆表里靠 VACUUM 清理,不清就膨胀。
  3. WAL 一身二职:崩溃恢复 + 复制流,MySQL 里 redo 与 binlog 的职责在 PG 里由 WAL 统一承担。
  4. 默认隔离级别是 read committed,与 MySQL 默认 repeatable read 不同,迁移应用要核对。
  5. 15/16 关注点:统计信息进共享内存、逻辑复制增强、pg_stat_io、MERGE。

十一、踩坑记录(实测汇总)

# 坑 现象 解决
1 用 MySQL 思维理解 MVCC 大更新后表文件暴涨,查询反而变慢 执行 VACUUM(或 VACUUM FULL 锁表更彻底),并查 n_dead_tup
2 max_connections 开太大 内存被每个 backend 的本地内存吃光 生产用 PgBouncer 连接池,数据库层连接数压到 100~500
3 以为 PG 也有 undo 表空间 到处找回滚段、找不到对应参数 PG 没有独立 undo,旧版本在堆表,膨胀即清理问题
4 隔离级别迁移漏改 MySQL RR 应用迁到 PG 默认 RC,出现幻读类差异 明确设置 default_transaction_isolation 或显式 BEGIN
5 把 pg_xlog 当旧路径 老教程里改 pg_xlog 报不存在 10 起已改名 pg_wal,pg_xact 是提交状态目录
6 以为 stats collector 挂了导致无统计 监控里看不到该进程以为故障 15 起 stats collector 进程已移除,统计在共享内存,属正常
7 连接 5432 被拒 psql 连不上、无报错细节 先查 pg_hba.conf 是否放行来源 IP,再查 postgresql.conf 的 listen_addresses

十二、参考资料(官方正式文档)

主题 官方链接
PostgreSQL 16 官方文档 https://www.postgresql.org/docs/16/index.html
PostgreSQL 15 官方文档 https://www.postgresql.org/docs/15/index.html
数据库集群管理(后台进程) https://www.postgresql.org/docs/15/runtime.html
多版本并发控制 MVCC https://www.postgresql.org/docs/15/mvcc.html
WAL 预写日志 https://www.postgresql.org/docs/15/wal.html
PostgreSQL 15 Release Notes https://www.postgresql.org/docs/15/release-15.html
PostgreSQL 16 Release Notes https://www.postgresql.org/docs/16/release-16.html

本文章属于《PostgreSQL 数据库全栈运维实战系列》基础与架构篇。欢迎收藏、交流。

相关推荐
分布式存储与RustFS27 分钟前
桶里的文件想当目录使:用 ZeroFS 把 RustFS 挂成一棵 POSIX 树
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
老余说AI1 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
安易算力1 小时前
智算中心网络架构选型:RDMA/IB/以太网深度对比与落地实践
网络·架构
分布式存储与RustFS2 小时前
向量表别堆本地盘:用 LanceDB 把数据集建在 RustFS 上
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
沐知全栈开发2 小时前
基于ClinicalTrials公开数据的临床试验分析系统-毕业设计
数据库·课程设计
半杯咖啡半行码2 小时前
Qt 隐式共享(Implicit Sharing)深度解析:机制、陷阱与 Qt6迁移
开发语言·数据库·qt
Nturmoils2 小时前
空值、日期、字符串:业务 SQL 里的函数先跑一遍
数据库
im_AMBER3 小时前
CDC 对账:数据同步之后,如何验证源库与目标库一致
后端·mysql·面试
AI_Auto3 小时前
数字化转型工作手册⑨|干什么①:数字化转型能拿到哪三类价值效益?
大数据·架构·制造