《C++实战项目-高并发内存池》5.PageCache构造

💡Yupureki:个人主页

✨个人专栏:《C++》 《算法》《Linux系统编程》《高并发内存池》


🌸Yupureki🌸的简介:


目录

[1. PageCache框架初识](#1. PageCache框架初识)

[2. PageCache框架构造](#2. PageCache框架构造)

[3. PageCache类初步构造](#3. PageCache类初步构造)


1. PageCache框架初识

申请内存:

  1. 当centralcache向pagecache申请内存时,pagecache先检查对应位置有没有span,如果没有则向更大页寻找一个span,如果找到则分裂成两个。比如:申请的是4页page,4页page后面没有挂span,则向后面寻找更大的span,假设在10页page位置找到一个span,则将10页pagespan分裂为一个4页page span和一个6页page span。
  2. 如果找到_spanList128都没有合适的span,则向系统使用mmap、brk或者是VirtualAlloc等方式申请128页pagespan挂在自由链表中,再重复1中的过程。
  3. 需要注意的是centralcache和pagecache的核心结构都是spanlist的哈希桶,但是他们是有本质区别的,centralcache中哈希桶,是按跟threadcache一样的大小对齐关系映射的,他的spanlist中挂的span中的内存都被按映射关系切好链接成小块内存的自由链表。而pagecache中的spanlist则是按下标桶号映射的,也就是说第i号桶中挂的span都是i页内存。

释放内存:

  1. 如果centralcache释放回一个span,则依次寻找span的前后pageid的没有在使用的空闲span,看是否可以合并,如果合并继续向前寻找。这样就可以将切小的内存合并收缩成大的span,减少内存碎片。

2. PageCache框架构造

PageCache具有以下成员变量

  1. _spanlists:一连串的SpanList哈希桶,每个SpanList中有一定的Span
  2. mutex:互斥锁,访问PageCache时,需要把整个PageCache锁上
  3. _pinst:单例模式
  4. //......最终方案肯定不只这些变量,等以后需要的时候再添加
cpp 复制代码
//单例模式
class PageCache
{
private:
	PageCache()
		:_spanlists(NPAGES)
	{ }
	PageCache(const PageCache&) = delete;
public:
	static PageCache& GetInstance()
	{
		return _pinst;
	}
	Span* NewSpan(size_t k);//PageCache获取Span,给CentralCache
	void Lock()
	{
		_mtx.lock();
	}
	void Unlock()
	{
		_mtx.unlock();
	}
	void ReleaseSpanToPageCache(Span* span);//CentralCache把多余的Span还给PageCache
private:
	std::vector<SpanList> _spanlists;
	std::mutex _mtx;
	static PageCache _pinst;
};

3. PageCache类初步构造

NewSpan:PageCache获取Span,给CentralCache

  1. 如果PageCache有多余的Span,直接给CentralCache
  2. 如果没有多余的,则往后找更大的页,然后分割(如没有大小为4页的内存块,向后找到了5页的内存块,则把5页分成4页和1页,4页给CentralCache,1页挂在哈希桶中)
  3. 如果往后找也没有多余的大内存块,则要从系统中申请128页的大内存块,然后重复步骤2
cpp 复制代码
// Span* PageCache::NewSpan(size_t k)
// 该方法用于从页面缓存中分配一个包含k个页面的Span对象。
// 如果k大于页面缓存的最大页面数量减一,则直接从系统分配内存。
// 如果k小于等于最大页面数量减一,则尝试从缓存中查找合适大小的Span。
// 如果未找到合适大小的Span,则查找大于k的最小Span,分割并返回k个页面。
// 如果缓存中没有可用的大块内存,则向系统申请最大块的内存并重新尝试分配。

// 获取一个K页的span
Span* PageCache::NewSpan(size_t k)
{
	assert(k > 0 && k < NPAGES);

	// 先检查第k个桶里面有没有span
	if (!_spanLists[k].Empty())
	{
		return _spanLists->PopFront();
	}

	// 检查一下后面的桶里面有没有span,如果有可以把他它进行切分
	for (size_t i = k+1; i < NPAGES; ++i)
	{
		if (!_spanLists[i].Empty())
		{
			Span* nSpan = _spanLists[i].PopFront();
			Span* kSpan = new Span;

			// 在nSpan的头部切一个k页下来
			// k页span返回
			// nSpan再挂到对应映射的位置
			kSpan->_pageId = nSpan->_pageId;
			kSpan->_n = k;

			nSpan->_pageId += k;
			nSpan->_n -= k;

			_spanLists[nSpan->_n].PushFront(nSpan);

			return kSpan;
		}
	}

	// 走到这个位置就说明后面没有大页的span了
	// 这时就去找堆要一个128页的span
	Span* bigSpan = new Span;
	void* ptr = SystemAlloc(NPAGES - 1);//SystemAlloc在ObjectPool中实现了
	bigSpan->_pageId = (PAGE_ID)ptr >> PAGE_SHIFT;
	bigSpan->_n = NPAGES - 1;

	_spanLists[bigSpan->_n].PushFront(bigSpan);

	return NewSpan(k);
}

ReleaseSpanToPageCache涉及到释放内存到系统中,我们等下一节:实现释放内存的章节中再实现

相关推荐
YuePeng41 分钟前
写了五年注解的低代码框架,2.0 决定让你连注解都不用写了
github·产品
小白ai1 小时前
从"能 ping 通吗"到"为什么上不了网"——我写了一个网络故障诊断引擎
github
徐小夕3 小时前
jitword 协同文档3.2发布:打造浏览器中最强word编辑器
前端·架构·github
齐翊5 小时前
分享一个在 Claude Code 里 [同时] 用多个 ApiKey 的方法
程序员·github·agent
A_Lonely_Cat5 小时前
记一次 GitHub 幽灵协作者大清洗:强制重写 Git 历史与穿透 CDN 缓存实践
git·github
郝学胜_神的一滴5 小时前
CMake 034:生成器表达式:解耦构建时序、精简分支逻辑的终极利器
c++·cmake
见过夏天21 小时前
C++ 基础入门完全指南
c++
极光技术熊1 天前
Spring AI 从入门到精通:构建你的 AI 开发知识体系
后端·github
用户39483951075531 天前
怎么让我的 Agent 真正"懂"我?——关于记忆、经验学习与预测的一些真实体验
github
远航_1 天前
git submodule
前端·后端·github