【高性能内存池】thread cache内存回收 6

当线程申请的内存不用了之后就可以将不用的内存还给thread cache。

1 将内存还给thread cache

下面是thread cache的结构:

thread cache中有很多的freeList,申请内存的时候也是将freeList取出给线程,因此,释放内存的时候就是将内存还原成freeList,然后将freeList加入到它下标的位置。

线程释放内存的过程是怎样的?

根据释放的内存大小,计算应该处于freeList的哪个下标,然后将释放的内存插入进freeList中。

具体的代码如下:

cpp 复制代码
void ThreadCache::Deallocate(void* ptr, size_t size)
{
	assert(ptr);
	assert(size <= MAX_BYTES);

	//算出来是多少号桶,插入进去
	size_t index = SizeClass::Index(size);
	_freeLists[index].Push(ptr);

	// 当链表长度大于一次批量申请的内存时就开始还一段list给central cache
	//这里接下来会讲
	if (_freeLists[index].Size() >= _freeLists[index].MaxSize())
	{
		ListTooLong(_freeLists[index], size);
	}
}

2 当释放内存过大,将内存还到central cache

随着线程不断的释放,对应自由链表的长度也会越来越长,这些内存堆积在一个thread cache中就是一种浪费,我们应该将这些内存还给central cache,这样一来,这些内存对其他线程来说也是可申请的,因此当thread cache某个桶当中的自由链表太长时我们可以进行一些处理。

自由链表过长,如何将内存还给central cache?

上面将过长的freeList传入到ListTooLong中了,在函数里面,就将这段过长的freeList取出,然后再插入到Span中就行了。

将过长的freeList传入到ListTooLong的过程:

cpp 复制代码
ListTooLong(_freeLists[index], size);

ListTooLong的实现过程:

cpp 复制代码
void ThreadCache::ListTooLong(FreeList& list, size_t size)
{
	void* start = nullptr;
	void* end = nullptr;
	//将过长的freeList取出list.MaxSize()大小的自由链表
	list.PopRange(start, end, list.MaxSize());

	//将取出的自由链表还给Span
	CentralCache::GetInstance()->ReleaseListToSpans(start, size);
}

上面的函数中涉及到PopRange函数,下面展示一下该函数的实现过程:

cpp 复制代码
class FreeList
{
public:
	void PopRange(void*& start, void*& end, size_t n)
	{
		assert(n <= _size);
		start = _freeList;
		end = start;

		for (size_t i = 0; i < n - 1; ++i)
		{
			end = NextObj(end);
		}

		_freeList = NextObj(end);
		NextObj(end) = nullptr;
		_size -= n;
	}
};

具体过程绘图如下:

相关推荐
考虑考虑8 小时前
JDK26中的Map.ofLazy
java·后端·java ee
鶴哥只手遮天12 小时前
Spring AI 2.0.1 深度解析-第 14 章 MCP 服务端(上):注解式实现与工具来源
java·人工智能·开源
鶴哥只手遮天12 小时前
Spring AI 2.0.1 深度解析-第 15 章 MCP 服务端(下):三种协议形态、Streamable 传输与状态管理
java·人工智能·开源
鶴哥只手遮天12 小时前
Spring AI 2.0.1 深度解析-第 16 章 向量存储(上):`VectorStore` 接口体系、`BatchingStrategy`
java·人工智能·开源
鶴哥只手遮天12 小时前
Spring AI 2.0.1 深度解析-第 12 章 工具循环的流式形态、Usage 累加与扩展体系
java·人工智能·开源
鶴哥只手遮天12 小时前
Spring AI 2.0.1 深度解析-第 23 章 模型供应商实现:从 `OpenAiSetup` 到 Bedrock
java·人工智能·开源
鶴哥只手遮天12 小时前
Spring AI 2.0.1 深度解析-第 06 章 内置 Advisor 全景:13 个实现逐个剖到源码级
java·人工智能·开源
鶴哥只手遮天12 小时前
Spring AI 2.0.1 深度解析-第 03 章 消息体系与 Prompt:不可变模型、`ChatOptions` 与模板渲染
java·人工智能·开源
鶴哥只手遮天12 小时前
Spring AI 2.0.1 深度解析-第 24 章 生产实践与 2.x 迁移:陷阱清单、AOT 与调优
java·人工智能·开源
鶴哥只手遮天12 小时前
Spring AI 2.0.1 深度解析-第 10 章 工具调用(中):执行链路、结果转换与工具限制
java·人工智能·开源