关于ats缓存的热迁和冷迁

本文分享自天翼云开发者社区《关于ats缓存的热迁和冷迁》,作者:LeonHao。

在CDN的服务中,有些内容访问会比较频繁,这种资源在性能更好的SSD中,会带来更好的访问体验。另外一些内容访问较少,作为相对冷的资源,只需要在HDD磁盘获取内容,即可达到较好的性能。这时就需要有策略的实现缓存的冷热迁移。

ats缓存在写入磁盘时,会将内容拆成1兆一个fragment的方式,链式的写入到单个磁盘中。如果某个大文件命中到HDD磁盘,但访问时却只按照Range方式访问了其中一部分,这样只加热了单个文件的某一部分。如果因为单个部分的访问就将全部文件迁入到ssd中,消耗的代价会比较大。但是如果只迁移单个fragment,就会破坏ats原有的单文件单磁盘的访问方式。

在SSD缓存被覆盖前,资源需要被迁入到hdd盘,保证冷资源不会被很快的淘汰。但也是在大文件场景中,如果将完整文件冷迁到HDD盘,那就需要保证在迁移完成后,资源不会被覆盖掉。这样的话,单磁盘的锁被独占,资源写入被搁置,性价比太差。如果只迁移单个fragment,也是相同的原因:破坏了ats原有的单文件单磁盘的访问方式。

基于以上原因,需要对ats的单文件单磁盘模式重新进行设计,实现单个fragment重新做磁盘映射hash,大文件的存储就像Range请求一样,分散在不同的磁盘,迁移不再依赖首片的磁盘索引。

相关推荐
zxanz12 小时前
SSL 证书申请下来快吗?
网络·网络协议·ssl
false_or_true2 小时前
一次由 tcp_tw_recycle 引发的“灵异”故障排查:基于双网闸架构的踩坑记
网络·tcp/ip·架构
爱写代码的倒霉蛋2 小时前
我用book-to-skill把尹圣雨的《TCP/IP网络编程》做成了知识库(适合快速入门网络编程)
网络·网络编程·知识库
..过云雨2 小时前
19.【网络】多路转接poll、epoll、Reactor反应堆 - 修正版
网络
Raas1003 小时前
MAI Gateway(魔芋企业级AI网关)功能全解:AI网关能做Prompt注入防护吗?一文看懂AI网关能力矩阵(v1.2.0)
网络·人工智能·gateway·prompt·mai gateway·企业级ai网关·企业级产品
Lzg_na3 小时前
DHCP 作用、原理、机制和报文格式详解
网络
发量惊人的中年网工3 小时前
SD-WAN 组网方案怎么选?跨地域与多分支企业的选型指南(含成本对比)
服务器·网络·数据库
星恒讯工业路由器3 小时前
从5G-A到6G:工业通信网络的技术演进与产业落地
网络·物联网·5g·智能路由器·工业路由器·工业物联网·5g-a
砚凝霜4 小时前
【软考信息安全】第二十一章 网络设备安全概述与安全机制
网络·安全
Escalating_xu4 小时前
【Linux 网络编程】网络基础概念(下):IP、端口、Socket 与网络字节序,写代码前先打好基础
linux·网络·tcp/ip