垃圾回收——三色标记法(golang使用)

三色标记法(tricolor mark-and-sweep algorithm)是传统 Mark-Sweep 的一个改进,它是一个并发的 GC 算法,在Golang中被用作垃圾回收的算法,但是也会有一个缺陷,可能程序中的垃圾产生的速度会大于垃圾收集的速度,这样会导致程序中的垃圾越来越多无法被收集掉。

三种颜色的含义:

白色(White):表示未被访问的对象。在垃圾回收开始时,所有对象最初都被标记为白色。

灰色(Gray):表示正在被访问但尚未访问完的对象。当一个对象被访问时,它从白色变为灰色。

黑色(Black):表示已经访问完毕的对象,即所有可达子对象都已被访问。

原理与步骤

无写屏障的步骤

第一步 , 就是只要是新创建的对象,默认的颜色都是标记为"白色".

第二步, 每次GC回收开始, 然后从根节点开始遍历所有对象,把遍历到的对象从白色集合放入"灰色"集合。

第三步, 遍历灰色集合,将灰色对象引用的对象从白色集合放入灰色集合,之后将此灰色对象放入黑色集合

第四步, 重复第三步, 直到灰色中无任何对象.

第五步: 回收所有的白色标记表的对象. 也就是回收垃圾.

有写屏障的步骤

step 1: 创建:白、灰、黑 三个集合。

step 2: 将所有对象放入白色集合中。

step 3: 从根节点开始遍历所有对象,把遍历到的对象从白色集合放入灰色集合(备注:这里放入灰色集合的都是根节点的对象)。

step 4: 遍历灰色集合,将灰色对象引用的对象(备注:这里指的是灰色对象引用到的所有对象,包括灰色节点间接引用的那些对象)从白色集合放入灰色集合,然后将分析过的灰色对象放入黑色集合。

step 5: 直到灰色中无任何对象。

step 6: 通过写屏障(write-barrier)检测对象有变化,重复以上操作(备注:因为 mark 和用户程序是并行的,所以在上一步执行的时候可能会有新的对象分配,写屏障是为了解决这个问题引入的)。

step 7: 收集所有白色对象(垃圾)。

具体例子

  1. 初始阶段,假设当前的对象调用情况如下所示,root ->A->B/A->C/A<->D;root->F; E; G->H;

根据算法,会将所有的对象都放到白色集合当中,对应于step 1和step 2。

  1. GC开始扫描,这里会从根节点开始,遍历发现只有A和F是根节点,于是将A、F从白色集合移动到灰色集合当中,在白色结合中之后剩下B、C、D、E、G、H这些节点,对应于step 3。
  2. GC继续扫描灰色集合,会将灰色集合中的节点中引用的节点移动到灰色集合当中,本例中A节点引用的节点B、C、D会被移动到灰色集合中,紧接着A发现自己引用的所有子节点都已经在灰色集合了,便会被移动到黑色集合中,同时F节点没有自节点,也会被移动到黑色集合当中,对应于step 4。
  3. GC会循环遍历灰色集合,直到灰色集合之中没有节点为止,在本例中,发现B、C、D都没有子节点在白色集合中,便将B、C、D都移动到黑色集合中,对应于step 5。
  4. 此时只剩下E、G、H在白色集合中,剩下的对象都在黑色集合中,GC便清除白色集合中的对象,也就是进行回收这些对象,对应于step 7
  5. 上面的垃圾回收结束之后,GC会在进行一步操作,也就是将黑色集合变色成白色集合,供下一次垃圾回收使用。

需要暂停以进行垃圾回收------性能差

​ Golang中的垃圾回收主要应用三色标记法,GC过程和其他用户goroutine可并发运行,但需要一定时间的STW(stop the world),STW的过程中,CPU不执行用户代码,全部用于垃圾回收,这个过程的影响很大,Golang进行了多次的迭代优化来解决这个问题。

上述的三色并发标记法来说, 他是一定要依赖STW的. 因为如果不暂停程序, 程序的逻辑改变对象引用关系, 这种动作如果在标记阶段做了修改,会影响标记结果的正确性。

在三色标记法中,导致对象丢失的有两个条件:

  • 条件1: 一个白色对象被黑色对象引用**(白色被挂在黑色下)**
  • 条件2: 灰色对象与它之间的可达关系的白色对象遭到破坏**(灰色同时丢了该白色)**
    当以上两个条件同时满足时, 就会出现对象丢失现象!

​当然, 如果上述中的白色对象3, 如果他还有很多下游对象的话, 也会一并都清理掉.

​ 为了防止这种现象的发生,最简单的方式就是STW,直接禁止掉其他用户程序对对象引用关系的干扰,但是STW的过程有明显的资源浪费,对所有的用户程序都有很大影响,如何能在保证对象不丢失的情况下合理的尽可能的提高GC效率,减少STW时间呢?

​答案就是, 那么我们只要使用一个机制,来破坏上面的两个条件就可以了。

如何优化 屏障机制

"强-弱" 三色不变式

我们让GC回收器,满足强/弱三色不变式时,可保对象不丢失

强三色不变式:不存在黑色对象引用到白色对象的指针。

弱三色不变式:所有被黑色对象引用的白色对象都处于灰色保护状态.

为了遵循上述的两个方式,Golang团队初步得到了如下具体的两种屏障方式"插入屏障", "删除屏障".

2.2 插入屏障

具体操作: 在A对象引用B对象的时候,B对象被标记为灰色。(将B挂在A下游,B必须被标记为灰色)

满足: 强三色不变式. (不存在黑色对象引用白色对象的情况了, 因为白色会强制变成灰色)

伪码如下:

添加下游对象(当前下游对象slot, 新下游对象ptr) {

//1

标记灰色(新下游对象ptr)

//2

当前下游对象slot = 新下游对象ptr

}

场景:

A.添加下游对象(nil, B) //A 之前没有下游, 新添加一个下游对象B, B被标记为灰色

A.添加下游对象(C, B) //A 将下游对象C 更换为B, B被标记为灰色

​ 这段伪码逻辑就是写屏障。我们知道,黑色对象的内存槽有两种位置:栈和堆。栈空间的特点是容量小,但是要求相应速度快,因为函数调用弹出频繁使用。所以"插入屏障"机制,在栈空间的对象操作中不使用,而仅仅使用在堆空间对象的操作中。

2.3 删除屏障

具体操作: 被删除的对象,如果自身为灰色或者白色,那么被标记为灰色。

满足: 弱三色不变式. (保护灰色对象到白色对象的路径不会断)

伪代码:

添加下游对象(当前下游对象slot, 新下游对象ptr) {

//1

if (当前下游对象slot是灰色 || 当前下游对象slot是白色) {

标记灰色(当前下游对象slot) //slot为被删除对象, 标记为灰色

}

//2

当前下游对象slot = 新下游对象ptr

}

场景:

A.添加下游对象(B, nil) //A对象,删除B对象的引用。 B被A删除,被标记为灰(如果B之前为白)

A.添加下游对象(B, C) //A对象,更换下游B变成C。 B被A删除,被标记为灰(如果B之前为白)

这种方式的回收精度低,一个对象即使被删除了最后一个指向它的指针也依旧可以活过这一轮,在下一轮GC中被清理掉。

2.4 插入写屏障和删除写屏障的短板

插入写屏障:结束时需要STW来重新扫描栈,标记栈上引用的白色对象的存活;

删除写屏障:回收精度低,GC开始时STW扫描堆栈来记录初始快照,这个过程会保护开始时刻的所有存活对象。

Go V1.8版本引入了混合写屏障机制(hybrid write barrier),避免了对栈re-scan的过程,极大的减少了STW的时间。结合了两者的优点。

3 混合写屏障(hybrid write barrier)

3.1 混合写屏障规则

具体操作:

GC开始将栈上的对象全部扫描并标记为黑色(之后不再进行第二次重复扫描,无需STW),

GC期间,任何在栈上创建的新对象,均为黑色。

堆中,被删除的对象标记为灰色。

堆中,被添加的对象标记为灰色。

满足: 变形的弱三色不变式.

伪代码:

添加下游对象(当前下游对象slot, 新下游对象ptr) {

//1

标记灰色(当前下游对象slot) //只要当前下游对象被移走,就标记灰色

//2

标记灰色(新下游对象ptr)

//3

当前下游对象slot = 新下游对象ptr

}

这里我们注意, 屏障技术是不在栈上应用的,因为要保证栈的运行效率。

3.2 混合写屏障的具体场景分析

接下来,我们用几张图,来模拟整个一个详细的过程, 希望您能够更可观的看清晰整体流程。

注意混合写屏障是Gc的一种屏障机制,所以只是当程序执行GC的时候,才会触发这种机制。

GC开始:扫描栈区,将可达对象全部标记为黑

参考资料和更多详细的看

https://zhuanlan.zhihu.com/p/14541819173

相关推荐
审计侠几秒前
Go语言-初学者日记(八):构建、部署与 Docker 化
开发语言·后端·golang
东方珵蕴18 分钟前
Logo语言的区块链
开发语言·后端·golang
uhakadotcom29 分钟前
PyTorch 分布式训练入门指南
算法·面试·github
uhakadotcom33 分钟前
PyTorch 与 Amazon SageMaker 配合使用:基础知识与实践
算法·面试·github
南汐以墨44 分钟前
探秘JVM内部
java·jvm
uhakadotcom1 小时前
在Google Cloud上使用PyTorch:如何在Vertex AI上训练和调优PyTorch模型
算法·面试·github
wen__xvn1 小时前
c++STL入门
开发语言·c++·算法
二狗哈2 小时前
go游戏后端开发24:写完赢三张游戏
python·游戏·golang
chxii3 小时前
19.go日志包log
网络·golang
审计侠3 小时前
Go语言-初学者日记(四):包管理
开发语言·后端·golang