Python 的垃圾回收——引用计数撑起日常,分代回收收拾残局

在 C 语言里,malloc 之后的 free 是程序员自己的责任,忘了释放就是内存泄漏,释放两次就是崩溃。写 Python 的人从来没有这个负担:对象用完即弃,没人显式删除它,内存却总能被收回来。这份轻松不是白来的,背后是解释器里两套配合默契的机制------引用计数负责日常的即扫即清,分代回收负责兜住前者收拾不了的残局。这篇文章把这两套机制各自的原理、分工和边界讲清楚,顺便解开那个经典难题:两个对象互相引用时,谁来收尸。


1 引用计数:第一道防线

1.1 每个对象随身带着一笔账

CPython 里每个对象的头部都存着一个整数,叫引用计数,记录当前有多少个名字、多少个容器正在指着它。这个数字的增减规则很朴素:

  • 赋值、传参、塞进列表,计数加一。
  • 名字被删除、离开作用域、所在容器被销毁,计数减一。
  • 计数一旦降到零,说明世上再没有任何途径能到达这个对象,解释器立即释放它占用的内存。

关键在 "立即" 二字。引用计数不需要等待任何周期性的回收时机,垃圾一产生就地清除,内存占用曲线平稳,延迟也不会出现毛刺。对象消亡的时机完全确定,这让 del 这样的析构钩子有了可靠的执行点。

1.2 现场观察一笔账

sys.getrefcount 可以让我们亲眼看到计数的变化:

python 复制代码
import sys

a = [1, 2, 3]
print(sys.getrefcount(a))  # 输出 2

b = a
print(sys.getrefcount(a))  # 输出 3

del b
print(sys.getrefcount(a))  # 输出 2

创建之后计数是 2 而不是 1,因为把 a 作为参数传给 getrefcount 时,函数调用本身又临时建立了一个引用;返回前那个引用就被销毁了,所以读出来的数永远比真实值多一。b = a 之后加一,del b 之后减一,账目清清楚楚。

这套机制的优点是实时、简单、代价分散在整个程序的执行流里,不需要停下来做集中的清理。但它有一个天生的死穴------数账可以数清 "有多少人引用我",却数不出 "这些人自己是不是垃圾"。这正是循环引用问题的根源。


2 循环引用:引用计数的死穴

2.1 一笔谁也销不掉的账

两个对象互相持有对方,删除外部名字之后,双方计数都停在 1,永远不会归零:

python 复制代码
import sys
import gc

class Node:
    def __init__(self, name):
        self.name = name
        self.partner = None
    def __del__(self):
        print(f"{self.name} 被回收")

a = Node("A")
b = Node("B")
a.partner = b
b.partner = a

del a, b
# 此刻两个对象的引用计数都是 1,引用计数机制无能为力

gc.collect()
# 输出:A 被回收
#       B 被回收

del a, b 之后,外界确实失去了到达这两个 Node 的所有路径------它们已经是彻头彻尾的垃圾。但 A 的引用计数因为有 B 的 partner 属性撑着,B 的计数有 A 撑着,谁也降不到零。引用计数在这里完全失效:它只认数字,不认可达性。

最后一行的 gc.collect() 才是收尸人。手动触发分代回收后,两个对象被正确识别为不可达的循环垃圾,依次销毁,del 被调用。

2.2 不是所有循环都是垃圾

需要澄清一点:循环引用本身不是罪。容器对象之间形成环,只要环外还有引用牵着,它们就是活对象,理应存活:

python 复制代码
a = Node("A")
b = Node("B")
a.partner = b
b.partner = a
registry.append(a)  # 外部容器持有整个环

上面的环被 registry 牵着,无论分代回收怎么扫都不会动它。判断一个环是不是垃圾,标准只有一条:从程序当前的根(全局名字、调用栈、各线程的局部变量等)出发,能不能走到它。走不到,才是垃圾。所以循环引用问题的准确表述是------引用计数无法区分 "可达的环" 和 "不可达的环",它对前者判断正确,对后者彻底失明。


3 分代回收:gc 模块如何兜底

3.1 弱代假说与三代划分

既然引用计数包办了绝大多数常规场景,分代回收只需要专注一件事:周期性地排查那些计数没归零的对象里,有没有藏着的不可达循环。怎么排查才划算?这里用上了一条来自内存分配领域的经验规律,叫弱代假说:绝大多数对象的生命周期都很短,临时列表、中间字符串、一次函数调用造出来的东西,大多活不过几毫秒。反过来,熬过初期回收的对象,往往会长寿下去。

依据这条假说,gc 模块把被跟踪的对象分成三代:新对象进入第 0 代;第 0 代回收时幸存的对象晋升到第 1 代;第 1 代回收时幸存的再晋升到第 2 代。代数越高,被扫描的频率越低------新生对象反复查,老年对象偶尔查,扫描成本就这样被压了下来。触发频率由三个阈值控制:

python 复制代码
import gc

print(gc.get_threshold())  # 输出 (700, 10, 10)

默认配置 (700, 10, 10) 的含义是:新分配对象数减去释放对象数的差值超过 700 时,触发一次第 0 代回收;第 0 代回收满 10 次后,附带一次第 1 代回收;第 1 代回收满 10 次后,附带一次第 2 代回收。整个过程全自动,绝大多数 Python 程序员写了多年代码也没碰过 gc 模块,这不丢人,说明默认策略运转得不错。

3.2 怎么找出不可达的循环

分代回收每次扫描时,并不是漫无目的地遍历。它只跟踪容器对象------列表、字典、集合、类实例这些能持有引用的类型,int、str 这类原子对象不参与其中,因为它们不可能成为环的一环。

排查的思路可以概括为 "先把账本复制一份,再从活人出发销账":

  • 把候选集合中所有对象的引用计数复制一份副本。
  • 从根出发遍历所有可达对象,每经过一条引用,就把副本上对应的计数减一。
  • 遍历结束后,副本计数归零的对象,就是那些 只被环内部成员引用、环外无任何路径到达 的对象------不可达的循环垃圾,可以安全清除。

这个算法本质上是标记 - 清除的一种变体,判断依据从 "引用数是多少" 换成了 "从根走不走得到",正好补上了引用计数的失明区。

历史上有一段插曲值得知道:在 Python 3.4 之前,带 del 方法的对象即使构成不可达循环,gc 也不敢回收,因为解释器无法安全决定析构顺序,只能把它们扔进 gc.garbage 列表里长期搁置。PEP 442 引入新的最终化机制后,这个限制才被取消,如今这类循环垃圾也能被正常回收了。了解这段历史,读老项目的注释和旧文档时不至于困惑。


4 工程上真正要关心的几件事

理解机制是为了做判断,而不是为了焦虑。日常开发里,垃圾回收需要你操心的地方其实很有限,大致就下面几条。

不必谈循环引用色变。少量小对象构成环,等下一次分代回收自然就被清走了,代价可以忽略。真正需要警惕的是 "环很大且增长无上限" 的场景------缓存互相引用着越攒越多、对象的观察者列表从不清理,这类结构会让分代回收每次扫描的集合持续膨胀。

打破环的两个正规手段。一是弱引用,weakref.ref 或 weakref.WeakValueDictionary 持有对象但不增加其引用计数,父子关系、缓存场景里用它指回 "不必保活" 的一方,环就从结构上不存在了。二是显式的清理方法,比如双向链表的 close()、订阅关系的 unsubscribe(),在对象生命周期明确的场合,手动断链比依赖回收时机更可靠。

性能敏感处可以关掉自动回收。某些批处理任务对象分配量巨大但几乎不产生循环垃圾,分代回收的周期性扫描纯属开销,gc.disable() 关掉之后提速明显。前提是你确认了工作负载的形态,并且测试过收益。顺带一提,PyPy 这类不使用引用计数的实现走的是另一条路线,从侧面说明这两套机制只是 CPython 的选择,不是语言的规范。

少用 del。它的执行时机依赖回收路径,循环垃圾的析构顺序没有保证,解释器退出时的行为也有平台差异,异常还会被吞掉。资源释放该交给 with 语句和上下文管理器------把确定性从垃圾回收手里拿回来,交还给写代码的人。

回头看那条主线:引用计数用 "数数" 的方式解决了九成的内存回收,代价是对循环结构失明;分代回收用 "可达性" 的方式补上这块盲区,又靠三代划分把补盲的成本压到可接受。两套机制一个管精度、一个管兜底,Python 那句 "不用关心内存" 的承诺,就是靠这个分工兑现的。理解到这一层,再遇到内存相关的疑难杂症,至少知道该往哪一层去查。

相关推荐
CyrusYiVPP17 分钟前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
yiangL_1 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
lula8882 小时前
PVC-U、PVC-C、PVC-O 差一个字母,差的是三种增强路线
python
数字工作台3 小时前
给 LangGraph 加一道可审计记忆:替换默认 Checkpointer,实现防篡改 + 崩溃不丢数据
python·agent
DKPT3 小时前
Python 的 Web 框架:选型选错的人,都踩了同一个坑
python
2401_868534784 小时前
逻辑网络设计
网络·python
2601_967979124 小时前
python如何组织文件?python文件操作全介绍!
python·文件操作·压缩文件·遍历文件夹·shutil模块
青少儿编程课堂4 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:扫描线与线段树求矩形面积并解析
c++·python·算法·bfs·信息学竞赛
羲云网络5 小时前
GPT Image 2.6 商品图交付:用文件指纹排查错图、覆盖与版本串线
图像处理·人工智能·python·技术教程·文件校验